Het eerste gebouw op deze plaats werd gebouwd in 1877-1878. In zijn hedendaagse vorm is het Zwaluwnest evenwel later ontstaan, toen het perceel waarop het stond door de rijke industrieel Sjteingel werd aangekocht. Hij liet een gebouw neerzetten dat hem aan de Rijnkastelen deed denken. De architect Leonid Sjervoed was in 1912 met deze opdracht klaar. Het Zwaluwnest was klein: 20 meter lang, 10 meter breed en 12 meter hoog en het had maar vier kamers - een hal, een zitkamer en twee slaapkamers - en moest als datsja dienstdoen.

Tijdens de Eerste Wereldoorlog werd het Zwaluwnest gekocht door de koopman Sjelapoetin, die daar een restaurant opende. Echter, kort daarna stierf Sjelapoetin en het restaurant werd gesloten. Na de Russische Revolutie werd het gedurende enkele jaren als kantoor van een reisbureau gebruikt, en vervolgens als leeszaal van een leesclub.

Het Zwaluwnest raakte beschadigd tijdens een aardbeving in 1927, daarna stond het gebouw lange tijd leeg. Pas veertig jaar later, in 1967-1968, werd het gerestaureerd en opnieuw als restaurant in gebruik genomen.