Η περιοχή είχε κατοικηθεί από την Κελτική και τη Ρωμαϊκή εποχή. Το 866[1] υπάρχει η πρώτη γραπτή μαρτυρία του οικισμού ως Villa cuchema. Στη συνέχεια αναφέρεται ως Cuhckeme και Chuckeme το 893, ως Cochemo το 1051, ως Chuchumo το 1056, ως Kuchema το 1130, ως Cuchemo το 1136, ως Cocheme το 1144, για να φτάσουμε στον 18ο αιώνα με την ονομασία Cochheim ή Cocheim. Το Κόχεμ για ένα μεγάλο διάστημα ανήκε στην Αγία Ρωμαϊκή Αυτοκρατορία. Το 1294 παραχωρήθηκε από τον βασιλιά Αδόλφο του Νασσάου στον Αρχιεπίσκοπο της Τριρ, στον οποίον και παρέμεινε έως ότου ξεκίνησε η γαλλική κατοχή το 1794. Το 1332 είχαν δοθεί στο Κόχεμ δικαιώματα πόλης και λίγο αργότερα χτίστηκαν τα τείχη του. Μεταξύ του 1423 και του 1425 την πόλη έπληξε επιδημία πανούκλας. Στον Τριακονταετή Πόλεμο η πόλη πολιορκήθηκε αλλά δεν κατακτήθηκε. Το 1689 τα στρατεύματα του βασιλιά Λουδοβίκου ΙΔ΄ της Γαλλίας έκαψαν για πρώτη φορά το γειτονικό κάστρο του Βίνεμπουργκ και έπειτα κατέκτησαν την πόλη και το κάστρο της. Kατά τη διάρκεια του 18ου αιώνα η πόλη είχε μετατραπεί σε σπουδαίο εμπορικό κέντρο. Μετά τη νέα γαλλική κατοχή, που ξεκίνησε το 1794, το Συνέδριο της Βιέννης παραχώρησε την περιοχή στο Βασίλειο της Πρωσίας το 1815.[1]

Στις 23 Ιανουαρίου 1927 εγκαινιάστηκε η Γέφυρα Σκάγκερακ, η πρώτη γέφυρα πάνω από τον Μοζέλα. Τα δύο αλιευτικά χωριά Κοντ και Ζιλ συγχωνεύθηκαν με την πόλη κατά τη διάρκεια της διοικητικής μεταρρύθμισης του 1932. Κατά τον Β΄ Παγκόσμιο Πόλεμο καταστράφηκαν από τους βομβαρδισμούς μεγάλα τμήματα της παλιάς πόλης του Κόχεμ, όπως επίσης και η γέφυρα, η οποία ξαναχτίστηκε και εγκαινιάστηκε στις 29 Σεπτεμβρίου 1949. Η δεύτερη γέφυρα του Κόχεμ, η οποία ονομάζεται βόρεια γέφυρα (Nordbrücke), χτίστηκε την περίοδο 1990-1993 και εγκαινιάστηκε στις 3 Σεπτεμβρίου 1993.

Κατά τη διάρκεια του Β΄ Παγκοσμίου Πολέμου δημιουργήθηκε ένα στρατόπεδο συγκέντρωσης, «παράρτημα» του στρατοπέδου Νατζβάιλερ-Στρούτχοφ. Συνολικά 13.000 κρατούμενοι εργάστηκαν εδώ στα καταναγκαστικά έργα, προσφέροντας δωρεάν εργατικά χέρια στις βιομηχανίες της περιοχής, όπως για παράδειγμα στην Bosch, η οποία παρήγαγε μπουζί και συστήματα ανάφλεξης, σημαντικότατα για την πολεμική προσπάθεια της Γερμανίας.[2] Από το 1946, το Κόχεμ αποτελεί μέρος του τότε νεοσυσταθέντος κρατιδίου Ρηνανίας-Παλατινάτου.