Setelah dibukanya Pelabuhan Hakodate untuk kapal asing pada tahun 1869 berdasarkan Persetujuan Kanagawa, Tokugawa Iesada memerintahkan pembangunan kastil di Hakodate untuk memperkuat pertahanan sekaligus berfungsi sebagai balai kota. Penanggung jawab pembangunan adalah ahli strategi militer Barat bernama Takeda Ayasaburō. Desain yang dibuatnya didasarkan pada karya arsitek Prancis Vauban.[1] Benteng ini dirancang untuk pertempuran dengan meriam, dibangun dengan dinding berbentuk bintang bersudut lima sehingga memungkinkan dipasangnya lebih banyak meriam di dinding benteng dibandingkan kastil tradisional Jepang. Desain bintang bersudut lima juga sekaligus mengurangi jumlah bintik buta yang tidak dapat ditembak oleh meriam.

Benteng ini luasnya kira-kira 251.400 m² (25 hektare). Goryokaku adalah benteng model Barat pertama sekaligus terbesar di Jepang.[2] Benteng ini berada di atas lahan berbentuk segi lima yang dikeliling parit berisi air. Di kelima sudut dibangun kubu (benteng) dari tanah yang dikeraskan. Antara satu kubu ke kubu lainnya dihubungkan dengan dinding batu. Pada sisi barat daya terdapat benteng kecil berbentuk belah ketupat yang diberi nama Hangetsuho (半月堡code: ja is deprecated ).[3]