Město bylo založeno v roce 716 chalífou Sulajmánem ibn Abd al-Malikem, jméno je odvozeno od arabského slova raml, což znamená písek. Jde o jediné větší sídlo založené nově na území dnešního Izraele během arabské vlády.[1] Za křižáckých válek byly o Ramlu jakožto o strategické město vedeny tři bitvy, nakonec ji ovládli křižáci a Ramla se jako součást hrabství Jaffa a Askalon stala významným zastavením pro poutníky na cestě do Jeruzaléma. Na začátku osmanského období byla Ramla převážně v ruinách a měla velmi málo obyvatel (v roce 1548 pouhých 528 muslimských a 82 křesťanských domácností).

Toto se příliš nezměnilo až do sklonku 19. století, kdy pro Ramlu začalo období rozkvětu. Za mandátní britské správy Ramla rostla, v roce 1945 měla už 12 000 muslimských a 3300 křesťanských obyvatel (až do roku 1948 žilo v Ramle velmi málo Židů). Za války za nezávislost byla Ramla významným místem bojů. Z města operovaly nepravidelné arabské jednotky, útočící na židovské jednotky, komunikace a osady v okolí města, což židovské jednotky oplácely. 12. června 1948 arabská Ramla kapitulovala. Ti obyvatelé, kteří neuprchli, byli většinou vyhnáni, s výjimkou asi 400 Arabů, a to buď křesťanů, nebo osob pro izraelskou vládu obchodně významných. V následujících měsících se Ramla stala domovem mnoha nových židovských imigrantů, v únoru 1949 židovská populace v Ramle překročila 6000.