原为法属印度支那总督府，建于1900年和1906年之间。设计者为法属印度支那的官方建筑师奧古斯特·亨利·維爾迪厄（Auguste Henri Vildieu）。这是一座纯粹欧洲风格的黄色建筑，铁艺大门，古典列柱，壮观的楼梯，唯一让人感觉到身处越南的视觉线索是庭院内的芒果树。[1]

1940年大日本帝国入侵越南，1940年3月取代法国成为越南的最高殖民统治者，总督府也改弦更张变成日本殖民高官府邸，直到1945年9月越南民主共和国建立。

1945年8月15日，日本宣布无条件投降。根据盟军统帅部8月17日发布的1号令，越南、泰国、老挝三国北纬16度以北地区均由中国军队受降。因此越北地区成为当时中国战区16个受降地之一，也是唯一的海外受降地。而今天的主席府就是当年举行受降仪式的地方，当年跨境受降的是中国第一方面军司令官卢汉上将。

1954年，越南劳动党主席胡志明统治北越后，拒绝住进这座豪华的建筑，只是在此接见外宾，1958年，他自己住进后花园池塘旁的棚屋，该棚屋甚至没有厕所。1975年越南统一后，此棚屋以胡志明故居名义列作遗址并加以维护。