בשנת 1963 נחתם הסכם גבול בין פקיסטן לסין אשר העביר לשליטת סין חלקים מאזור קשמיר, היוזמה לכביש המחבר בין שתי המדינות באזור זה הייתה פועל יוצא מן ההסכם. פרוץ מלחמת הודו-פקיסטן בשנת 1965, והידוק קשריה של פקיסטן עם סין בתקופה זו, תרמו לחתימת הסכם לסלילת הכביש בשנת 1966. הסכם נוסף נחתם בשנת 1967, לאחר שעבודות הסלילה היו כבר בעיצומן. כביש קארקוראם, המכונה בסין אף בשם "כביש הידידות", נסלל על ידי ממשלות פקיסטן וסין והושלם בשנת 1986, בסיום 20 שנות עבודה. במהלך העבודות לסלילת הכביש איבדו את חייהם 810 פועלים פקיסטנים ו-82 פועלים סיניים[1]. רוב האבדות במהלך העבודות אירעו כתוצאה ממפולות. נתיב כביש קארקוראם עוקב אחר אחד מנתיביה של דרך המשי העתיקה. כ-10,000 פועלים ומהנדסים סינים נטלו חלק בעבודות פריצת הדרך, לצד מספר לא ידוע של פועלים ומהנדסים פקיסטנים.

בצידו הפקיסטני של הגבול, הדרך נבנתה על ידי ארגון עבודות החזית (Frontier Works Organization), אשר העסיק אף כוחות מחיל ההנדסה של צבא פקיסטן. בשנת 1975 נפתח הכביש לראשונה, אך ורק למעבר משאיות, פתיחתו המלאה לתנועת כל כלי הרכב הגיעה כ-10 שנים מאוחר יותר.

בתחילת המאה ה-21 מתנהל בלשכת המהנדס הראשי בצבא פקיסטן מאמץ לאסוף ולפרסם תיעוד היסטורי על בניית הכביש, בראש הפרויקט עומד הממונה על סלילת הכביש.