טירה הוקמה במקום במאה ה-17 ושמשה כמבצרם של השוגונים לבית טוקוגאווה. הקיסר מיג'י עבר מקיוטו לטירת אדו (לימים טוקיו) ב-1869, ומאותה עת (ועד שנת 1948) כונתה הטירה בשם "ארמון הטירה" (宮城), מבנה הארמון המקורי הוקם בגני הארמון של השוגון, באזור המהווה כיום את הגן המזרחי של הארמון. הארמון נהרס בהפצצות בעלות הברית במלחמת העולם השנייה. הארמון הנוכחי נבנה ב-1968, בסגנון מודרניסטי, עם אזכורים ארכיטקטוניים יפניים. נכון ל-2019 מתגורר בארמון הקיסר הנוכחי, ה-126 במספר בשושלת הקיסרים, נארוהיטו.