Точные даты строительства дворца неизвестны[1]. Оно было построено в два этапа. Между 1859 и 1867 годами по заказу бывшего раба Си Муссы, великого визиря султана Марокко Мухаммеда IV, в юго-восточной части медины Марракеша была построена северная часть дворца.

Между 1894 и 1900 годами Ба Ахмед, сын Си Муссы, ставший после его смерти великим визирем султана Абд аль-Азиза IV, осуществил второй этап строительства, расширив южную часть дворцового комплекса. Ба Ахмед был очень богат и могуществен, что не нравилось султану[2], и сразу после смерти визиря в 1900 году дворец был разграблен[2][2]. Через 12 лет французский генерал-резидент маршал Лиоте, управлявший французской колонией Марокко, восстановил дворец и сделал его своей резиденцией в Марракеше.

В настоящее время здание открыто для посетителей. Здесь проводятся концерты арабско-андалузской музыки и художественные выставки.