Den förhistoriska Sidenvägen har alltid varit en huvudväg för människans folkvandringar genom Centralasien. Trots att en mycket äldre historia ligger begraven under lagren av den senare stadens liv, har arkeologiska undersökningar avslöjat spår av byliv så långt tillbaka som till tredje årtusendet f.Kr.

Under namnet Mouru nämns platsen med Balkh i Zend-Avesta-geografin, vilken antagligen daterar sig till 600-talet f.Kr. (men traditionellt anges betydligt äldre datum). Under namnet Margu dyker staden upp i Behistuninskriften (cirka 515 f.Kr.) som en del i en satrapi under persiska monarken Dareios regeringstid.

Den antika staden tycks ha grundats av Kyros den Store (559-530 f.Kr.), men de akemenidiska nivåerna är djupt begravda under senare lager på platsen.

Alexander den stores besök i Merv är endast legendariskt, men efter hans död blev Merv huvudstad i provinsen Margiana under seleukidiska, partiska och persiska kungadömen. Vid Margusfloden - kallad Epardus av Lucius Flavius Arrianus Xenophon och idag Murghab - låg distriktets huvudstad, kallad Antiochia Margiana (Antiochia av Margiana) efter Antiochos Soter, som återuppbyggde staden, i en starkt utökad plan som gjorde den nära två kilometer tvärsöver. Mycket lite har kommit fram om seleukidernas Antiochia Margiana, förutom resterna av det fortifierade yttre försvarsverket.

Efter Ardashir I (cirka 220-240) kom Merv under persiska sassanid-dynastins kontroll i fyra århundraden.

Vid sidan om den officiella zoroastrianismen under sassanid-dynastin i Persien, har Merv varit hem för ett rad olika religiösa övertygelser och ett antal olika religiösa sekter, inklusive buddhistiska och manikeistiska. Under 400-talet var Merv säte för en kristen ärkebiskop av den nestorianska kyrkan.

De persiska kungarnas herravälde tog slut när den sista av sassanid-dynastins ledare, Yazdegerd III (633-651) mördades inte långt ifrån staden vilket gjorde att militärguvernören kapitulerade för den närmande arabiska armén. Staden ockuperades av löjtnanter till kalifen Uthman ibn Affan, och blev huvudstad i Khorasan. Araberna använde staden som sin bas, ledd av Kotaiba ibn Moslim.

Merv fick en del politiskt strålkastarljus på sig i februari år 748, då Abu Muslim (död 750) förklarade en ny Abbasid-dynasti i Merv, och gav sig iväg från staden för att erövra Iran och Irak och grundade en ny huvudstad vid Bagdad. Därefter var Merv en provinshuvudstad - med undantag för en kort glansperiod från 813 till 818 då kalifen al-Ma'mun tillfälligt var bosatt i Merv vilket gjorde staden till huvudstad för hela den muslimska världen.

Den senare hälften av 700-talet blev Merv mot islam som centrumet för kättersk propaganda förkunnad av al-Muqanna under täckmanteln "profeten av Khorosan". År 874 var det arabiska styret i Centralasien till ända. När araberna dominerade Merv, liksom Samarkand och Bokhara, var en av de stora skolorna av lärande, och den firade historikern Yaqut studerade i dess bibliotek. Merv producerade ett antal lärda inom olika kunskapsområden såsom islamsk lag, Hadith, historia, litteratur och liknande. Flera lärda har namnen Marwazi المروزي vilket betecknar dem som hemmahörande i Merv.

1040 korsade seldjukiska turkar floden Oxus från norr och besegrade Masud, sultanen av Ghazni, uppväxt som Togrul Beg, sonson till seljukiderna, arvtagare till Persiens tron. De grundade den seldjukiska dynastin, med dess huvudstad Nishapur. En yngre bror till Togrul, Daud, tog kontroll över Merv och Herat. Togrul efterträddes av sin nevö Alp Arslan (Stora Lejonet), som begravdes i Merv. Det var ungefär vid denna tid som Merv nådde höjden av sin storhetstid och blev ett centrum för persisk kultur och vitterhet. Under sultanen Sanjars (eller Sinjars) styre i mitten på 1000-talet, invaderades Merv av de turkiska stammarna i Ghuzz från på andra sidan Oxus. Denna händelse skedde under ledarskiftet i Khwarizm (Khiva).

1221 öppnade Merv sina portar för Tolui, son till Djingis Khan, Mongolernas hövding. Eftersom de bjudit motstånd drevs alla stadens invånare, 70 000 plus tjugo gånger så många flyktingar, ut på fälten och fick halsen avskuren. En beräkning efteråt konstaterade att mer än en miljon trehundratusen människor miste livet, enligt John Mans bok Djingis Khan, och då räknade man bara upp till 1,3 miljoner, en stor del av kropparna försummades. Utgrävningar avslöjar ett drastiskt återuppbyggande av stadens fortifikationer i efterdyningarna, men nu började stadens nedgång. I början av 1300-talet blev staden säte för en kristen ärkebiskop av den Östliga kyrkan. Efter Djingis Khans sonsons död blev Merv upptaget 1380 som Tamerlanes egendom, Samarkands Mongolprins.

1505 ockuperades staden av uzbeker, som fem år senare kastades ut av Ismail Khan, grundaren till Safawid-dynastin i Persien. Det var under hans period som en stor damm återställdes vid floden Murghab av en persisk adelsman, och bosättningen som växte fram i området med bevattningskanalerna blev känd som Bairam Ali, ett namn som omnämns i några 1800-talstexter. Merv förblev under persernas kontroll till 1787, då staden intogs av Emiren av Bokhara. Sju år senare raserade Bokhara staden till grunden, rev dammen och omvandlade distriktet till en ödebygd. När Sir Alexander Burnes korsade landet 1832, var Khiva ledare över Merv. Omkring denna tid blev Tekketurkmener, bosatta i Hari Rud, tvingade av perserna att flytta norrut. Khivanerna bekämpade Tekkes utbredning, men omkring 1856 blev de senare en överväldig makt i landet, och förblev det till dess Ryssland ockuperade oasen 1883.