Archipelag został odkryty 30 sierpnia 1873 roku przez austro-węgierską ekspedycję naukową Juliusa von Payera i Karla Weyprechta na statku „Admiral Tegetthoff”[1] . Ekspedycja ta była poprzedzona badaniami naukowymi Piotra Kropotkina, który w referacie z 1871 roku zawarł teoretyczne dowody na istnienie nieznanego archipelagu[2]. Otrzymał on imię cesarza Austrii i króla Węgier Franciszka Józefa I. Gdy Payer wykonał pierwszą fragmentaryczną mapę tego terenu zaznaczył na niej jedynie dwie wyspy sądząc, że nie ma ich tu więcej[3].

W 1880 r. do południowej części Ziemi Franciszka Józefa dotarł holenderski statek „Willem Barents”. W 1881 roku prowadził tu badania Leigh Smith na jachcie „Eira”, odkrywając szereg nowych wysp. Dzięki temu ustalił się właściwy pogląd, że Ziemie Franciszka Józefa jest rozległym archipelagiem. W kolejnym roku Smith wrócił na jego wody, jednak tym razem jego statek zatonął uwięziony w lodach, a załoga uratowała się docierając na Nową Ziemię[3]. W latach 1894-1897 rozległe badania prowadziła w tym rejonie angielska wyprawa pod dowództwem F. Jacksona. W roku 1895/1896 zimował tu zespół F. Nansena, który opuścił dryfującego w lodach „Frama” by pieszo zdobyć Biegun Północny, lecz musiał zawrócić. Szczęśliwie w czerwcu 1896 r. spotkali oni tu grupę Jacksona[3]. W 1897 r. działała tu amerykańska ekspedycja W. Willmana. W roku 1899 na wody archipelagu przybyła na statku „Stella Polaris” duża wyprawa włoska pod kierownictwem młodego eksploratora, księcia Abruzzów Luigi Amadeo di Savoia, która tu zimowała. W następnych latach pojawiali się tu licznie kolejni badacze[3].

Po wybuchu I wojny światowej Rosja zajęła formalnie cały archipelag, który otrzymał wówczas nazwę Ziemi Fridtjofa Nansena. 15 kwietnia w oparciu o dekret rządu radzieckiego Ziemia Franciszka Józefa została włączona w granice ZSRR[3]. W 1927 r. założono tu pierwszą radziecką stację meteorologiczną. W 1930 r. przemianowano archipelag na Ziemię Łomonosowa – na cześć XVIII-wiecznego rosyjskiego uczonego Michaiła Łomonosowa. W 1931 r. polarna wyprawa radziecka badała archipelag przy pomocy lodołamacza „Małygin”[4]. Na Ziemi Aleksandry wchodzącej w skład archipelagu znaleziono w 2016 roku pozostałości niemieckiej stacji meteorologicznej „Schatzgräber” (pol. „Poszukiwacz Skarbów”) z czasów II wojny światowej. Stacja działała od września 1943 roku do lipca 1944 roku na obszarze współcześnie stanowiącym park narodowy „Rosyjska Arktyka”. Jej szczątki odkryte zostały przez pracowników parku narodowego podczas prac badawczych[5][6].