במקום שבו העיר נמצאת כיום נוסד מאחז צבאי רוסי ב-1 ביולי 1869. היישוב התפתח במאה ה-19, לאחר שגאוגרפים הגיעו לאזור כדי למפות את ההרים ואת העמקים שבין קירגיזסטן לסין. בשנת 1880 גדלה האוכלוסייה מאוד, עקב הגירה של מוסלמים שברחו ממלחמות בסין.

בשנת 1888 מת ממחלת הטיפוס הגאוגרף והחוקר ניקולאי פרז'וואלסקי בעת ששהה בקארקול, תוך כדי הכנות למסע לטיבט. שם העיר שונה מ"קארקול" ל"פרז'וואלסק" לכבודו. בשנת 1921, לאחר מחאות ותרעומת מצד המקומיים על החלפת השם - שם העיר שונה בחזרה ל"קארקול", ובשנת 1939, בפקודת סטלין, ולכבוד 100 שנים להולדתו של ניקולאי פרז'וואלסקי, שם העיר שונה שוב ל"פרז'וואלסק". עם זאת[דרושה הבהרה], השם "פרז'וואלסק" השתמר בשמו של היישוב הקרוב מאוד לעיר, פריסטן-פרז'וואלסק.

אגם איסיק קול, הסמוך לעיר, שימש את הצבא הסובייטי להדרכה ולבדיקת מערכות הנעת טורפדו. כתוצאה מכך, בקארקול הלכה וגדלה קהילה המורכבת מאנשי צבא ומשפחותיהם.

כיום, קארקול היא מרכז לתיירים המבקרים באגם איסיק קול.