Nel IX secolo venne venduta al principe persiano Ali ibn al-Hassan Shirazi, che la rese centro del sultanato omonimo. Nei successivi secoli crebbe fino a diventare la principale città e centro del commercio della costa, al pari dello Zimbabwe. I principali beni commerciati furono oro e ferro dallo Zimbabwe, avorio e schiavi dalla Tanzania, e tessuti, gioielleria, porcellane, e spezie dall'Asia.

A partire dal XIII secolo, con il regno della famiglia Mahdali, Kilwa divenne la città più potente della costa orientale dell'Africa, e la sua influenza si estendeva a sud fino al Mozambico. Abu Abdullah Ibn Battuta registrò la sua visita alla città intorno al 1330, e lodò l'umiltà e la fede del sovrano, il sultano al-Hasan ibn Sulaiman. A questo periodo si fa risalire la costruzione del palazzo di Husuni Kubwa e l'ampliamento della Grande Moschea di Kilwa.

All'inizio del sedicesimo secolo Vasco da Gama estorse tributi dalla ricca comunità islamica ma, non molto dopo, un altro commando portoghese prese il controllo dell'isola (1505), che fece parte dell'Impero portoghese fino al 1512, quando un mercenario arabo la conquistò. La città riuscì ad ottenere un po' della vecchia prosperità, ma nel 1784 venne annessa al regno dei sovrani di Zanzibar provenienti dall'Oman. Dopo questa conquista i francesi costruirono un forte sul lato nord dell'isola, ma la città stessa venne abbandonata intorno al 1840. Divenne in seguito una colonia dell'Africa Orientale tedesca dal 1886 al 1918.

Alcuni scavi archeologici vennero iniziati negli anni cinquanta. Nel 1981 venne dichiarata patrimonio dell'umanità dall'UNESCO ed attirò i turisti in cerca della Grande Moschea, il palazzo Mkutini ed altre importanti rovine.