בניית הארמון החלה ב-1907, והוא נוסד במטרה לשמש עבור בית המשפט לבוררות, שהועבר אל המבנה ב-1913. באותה שנה הועברה אליו גם הספרייה לצדק בינלאומי, הכוללת אוסף של כתבים ומסמכים רבים הקשורים למשפט בינלאומי; בספרייה מאוחסנים גם כתבים מקוריים רבים, כגון עבודות של הוגו גרוטיוס וארסמוס מרוטרדם מתקופת הרנסאנס. ב-1922 הוזזה הספרייה לאגף צידי של המבנה, כדי לפנות מקום לבית המשפט לצדק בינלאומי, שמושבו נקבע באותה שנה בחלק הקדמי של הארמון. ב-1923 הועברה לארמון גם האקדמיה למשפט בינלאומי של האג (שנוסדה ב-1914).

משרדי קרן קרנגי, שנוסדה ב-1903 כדי לנהל את תרומותיו של אנדרו קרנגי לבניית הארמון, ממוקמים גם הם בארמון; הקרן נחשבת לבעליו הרשמיים של הארמון, והיא מנהלת ומשמרת אותו.

ב-2014 הוכנס הארמון לרשימת אתרי המורשת האירופיים של האיחוד האירופי.