Praeguse Buckinghami palee maa-ala esimene teadaolev omanik oli Edward Usutunnistaja. Hiljem on seda maa-ala müüdud, kingitud ja konfiskeeritud korduvalt. Nii on selle maa-ala omanikeks olnud William Vallutaja, Westminster Abbey mungad, Henry VIII ja James I. Kuid esimene loss ehitati sellesse kohta arvatavasti alles 1624. See põles 1674 maha.

Järgmisel aastal hakati ehitama uut lossi, mille nimeks sai Arlington House, sest selle rajas Henry Bennet, 1. hertsog Arlington. See on säilinud ja moodustab Buckinghami palee lõunatiiva.

Bennet müüs lossi, mis oli tema pärusmõis, 1703 kuninganna Anne'i soosikule John Sheffieldile, markii Normanbyle, kes 1703 tõsteti Buckinghami ja Normanby hertsogiks. Sheffield rajas Buckinghami lossi enamiku tänapäevaseid osi ja tema järgi on see ka nime saanud. Tema poolvend Charles Herbert Sheffield müüs lossi 1761 kuningale George III-le 21 000 naelsterlingi eest, mis 2010. aasta seisuga vastab umbes 3 miljonile naelale. Sellest ajast kuni tänapäevani on Buckinghami palee olnud Suurbritannia kuningliku perekonna valduses.

Esialgu elas lossis peamiselt George III abikaasa, kuninganna Charlotte, kes oma 15 lapsest tõi 14 ilmale Buckinghami palees. Kuningapere ametlikuks ja tseremoniaalseks residentsiks jäi St. Jamesi palee.

George IV tellis Buckinghami palee põhjaliku ümberehituse uusklassitsistlikus stiilis. Ümberehitus läks väga palju maksma ja pärast George'i surma palkas tema noorem vend William IV teise, odavama arhitekti. Alates 1837 on Buckinghami palee kuningapere peamine elukoht ja esimene valitseja, kes selles püsivalt elas, oli Victoria. Pärast seda, kui Victoria 1861 leseks jäi, eelistas ta siiski lossis mitte viibida, mistõttu kuni tema surmani 1901 kasutati lossi suhteliselt vähe.