העיר הייתה תחנה בסעיף צפוני של דרך המשי בה הובילו סחורות שונות מסין למזרח התיכון ולאירופה.

בשנת 329 לפני הספירה כבש אלכסנדר מוקדון את העיר. במהלך הכיבוש נגרם נזק לעיר, אך היא התאוששה במהירות ותחת ההשפעה ההלנית החדשה פרחה העיר והתפתחה. אומצו טכניקות בנייה חדשות. מרכיבים מהתרבות היוונית קלאסית השפיעו על האומנים המקומיים.

סמרקנד נכבשה על ידי הפרסים בסביבות שנת 260 לספירה. החל מהמאה השביעית לספירה הייתה העיר תחת שלטון מוסלמי. ובתקופה זו הפכה למרכז מסחרי גדול. בראשית תקופת השלטון המוסלמי הייתה בסמרקנד קהילה דתית מגוונת והיו בה מאמינים מדתות שונות כולל בודהיזם, זורואסטריות, הינדואיזם, מניכאיזם, יהדות ונצרות. עם זאת, לאחר זמן מה, הפכה האסלאם לדת הדומיננטית בסמרקנד, לאחר שמרבית האוכלוסייה המירה את דתה.

העיר נכבשה ונהרסה על ידי הצבא המונגולי בראשות ג'ינגיס חאן בשנת 1220, ובהמשך הייתה חלק מח'אנות צ'אגאטאי עד 1370. בשנה זו, נבנתה העיר מחדש על ידי טימור לנג, אשר השיב אותה לגדולתה, והפך אותה לבירת האימפריה הטימורית שהשתרעה מהודו וגבול סין ועד טורקיה. בשנת 1404 הורה טימור לנג על בניית מאוזוליאום לנכדו מוחמד סולטאן. בחורף 1405 מת האמיר טימור שהכין לעצמו אחוזת קבר בעיר מולדתו שחריסבאז, אולם מעברי ההרים לשם היו מושלגים והאמיר נקבר לצד נכדו במקום ששמו הוסב ל"גור-י אמיר" - "קברו של האמיר". עוד לפני מאוזולאום זה הפך למקום הקבורה של טימור, שני בניו ושני נכדיו.

לאחר מותו של טימור לנג הפך נכדו, אולוג בג בשנת 1409, למושל מטעם השאח ושלט בעיר 40 שנה. בתקופת שלטונו נבנה מצפה הכוכבים (1428 - 1429) הגדול.

העיר נלקחה על ידי האוזבקים ונשלטה על ידיהם מראשית המאה ה-16 עד עלייתה של ח'אנת בוכרה במקביל לשקיעתה של סמרקנד.

בשנת 1868 נכבשה העיר על ידי רוסיה. הגנרל הרוסי אלכסנדר ק. אברמוב שעמד בראש כוחות הכיבוש הפך למושל העיר מטעם השלטון הרוסי, והעיר הפכה לבירת חבל טורקסטן. לאחר מכן העיר נכבשה על ידי בנו של האמיר מבוכרה, אולם הוחזרה כעבור זמן קצר לאימפריה הרוסית. בשנת 1888 חוברה העיר לרשת מסילות הברזל הטרנס-כספית.

מספר שנים לאחר הקמת ברית המועצות, בשנת 1925, נבחרה העיר לבירת הרפובליקה הסובייטית החדשה אוזבקיסטן, אולם ב-1930 הועברה הבירה לטשקנט. משנת 1991 נכללת העיר במדינת אוזבקיסטן העצמאית והיא אחת מהערים החשובות במדינה ואתר תיירות מוביל בה, כשרבים המבנים בה שהוכרו כנכס לשימור עולמי בחסות אונסק"ו.