Em 1908, Thomas Hayton Mawson venceu um concurso para projetar o terreno. Por causa de restrições de orçamento, ele também teve que descartar elementos de design: montanhas e esculturas. Ele fez uso de um curso de água natural no local.

A ideia do Palácio começou a partir de uma discussão em 1900 entre o diplomata russo Friedrich Martens e o diplomata americano White sobre a criação de uma casa para o Tribunal Permanente de Arbitragem (PCA). White contatou Andrew Carnegie. Carnegie tinha reservas e, a princípio, estava apenas interessado em doar dinheiro para o estabelecimento de uma biblioteca de direito internacional. White, no entanto, conseguiu convencer Carnegie e, em 1903, Carnegie concordou em doar os US$ 1,5 milhão (US$ 40 milhões, corrigidos pela inflação) necessários para abrigar o tribunal e também para dotá-lo de uma biblioteca de direito internacional. White descreveu sua ideia para Carnegie:

“Um templo de paz onde as portas se abrem, ao contrário do templo de Jano, em tempos de paz e fechado em casos de guerra [...] como um digno testemunho do povo que, depois de muitos séculos, finalmente um tribunal que abriu suas portas para a solução pacífica das diferenças entre os povos”.  Carnegie e o plano original do Palácio da Paz

Se tal tecido fosse criado, os homens fariam peregrinações de todas as partes do mundo civilizado para vê-lo. Tornaria-se uma espécie de lugar sagrado, apreciado e venerado por homens pensantes em todo o mundo, e para o qual, em qualquer perigo de guerra entre dois países, as mentes dos homens se voltariam natural e normalmente. A principal dificuldade agora é que as pessoas das várias nações não sabem realmente o que foi feito por elas pela Conferência; mas tal edifício os faria saber disso. Seria um "sinal externo e visível" da Corte, que tornaria sua existência real e tangível conhecida até os confins da terra "

- Andrew Dickson White para Andrew Carnegie, 5 de agosto de 1902

No início, Carnegie simplesmente queria doar o dinheiro diretamente para a rainha holandesa Guilhermina dos Países Baixos para a construção do palácio, mas problemas legais proibiram isso, e em novembro de 1903 a Carnegie Stichting foi fundada para gerenciar a construção, propriedade e manutenção de o Palácio. Essa fundação ainda é responsável por essas questões.

Para encontrar um projeto adequado, a fundação convocou um concurso internacional aberto. O projeto vencedor, em estilo neo-renascentista, foi apresentado pelo arquiteto francês Louis M. Cordonnier. Para construir dentro do orçamento, Cordonnier e seu associado holandês JAG van der Steur ajustaram o design. O palácio tinha inicialmente duas grandes torres sineiras na frente e duas pequenas nas traseiras. Apenas uma grande torre e uma pequena torre permaneceram na construção final. Também para economizar dinheiro, o prédio da biblioteca separado do projeto vencedor foi incorporado ao próprio palácio.

O Palácio está repleto de presentes de diferentes nações que participaram da Segunda Conferência de Haia como um sinal de seu apoio. Entre os presentes estão um vaso de 3,2 toneladas (3,1 toneladas longas; 3,5 toneladas curtas) da Rússia, portas da Bélgica, mármore da Itália, uma fonte da Dinamarca, tapetes de parede do Japão, o relógio para a torre do relógio da Suíça, tapetes persas da Pérsia e madeira da Indonésia e dos Estados Unidos da América.

Em 1907, a primeira pedra foi colocada simbolicamente durante a Segunda Conferência de Haia. A construção começou alguns meses depois e foi concluída com uma cerimônia de inauguração em 28 de agosto de 1913, com a presença de Andrew Carnegie, entre outros. Na cerimônia, Carnegie previu que o fim da guerra era "tão certo que virá, e virá logo, assim como o dia segue à noite". O ano era 1913.[1]

Em 2007, a Rainha Beatriz inaugurou o novo prédio da Biblioteca de Direito Internacional do Palácio da Paz, abrigando todo o catálogo da biblioteca, uma sala de palestras e uma nova sala de leitura na ponte para o prédio principal do Palácio da Paz. Como o novo Academy Hall, a biblioteca foi projetada pelos arquitetos Michael Wilford e Manuel Schupp. Um Centro de Visitantes foi adicionado ao Palácio da Paz em 2012, que também é projetado por Michael Wilford.[2]

Em 2002, uma chama da paz eterna foi instalada em frente aos seus portões.