Semenjak masa Kelt dan Romawi, Cochem sudah dimukimi oleh manusia. Pada tahun 886, kota ini pertama kali disebutkan di dalam sebuah dokumen dengan nama Villa cuchema. Nama-nama lain yang ditelorkan oleh sejarah adalah Cuhckeme dan Chuckeme pada tahun 893, Cochemo pada tahun 1051, Chuchumo pada tahun 1056, Kuchema pada tahun 1130, Cuchemo pada tahun 1136, Cocheme pada tahun 1144, dan kemudian Cuchme dan lalu pada abad ke-18 menjadi Cochheim atau Cocheim. Cochem merupakan wilayah Kekaisaran Romawi Suci. Kota ini dihibahkan oleh Raja Adolf dari Nassau pada tahun 1294 kepada Uskup Agung Trier. Pada tahun 1332, Cochem memperoleh hak kota, dan segera sesudahnya perbentengan kota dibangun. Wabah pes menyerang kota ini dari tahun 1423 hingga 1425. Kemudian, selama Perang Tiga Puluh Tahun, kota ini dikepung tetapi tidak ditaklukan. Pada tahun 1689, pasukan Raja Louis XIV dari Prancis membumihanguskan Winneburg (kastel) dan kemudian menaklukkan Cochem dan kastilnya. Proses pembangunan kembali berlangsung lambat. Namun, pada tahun 1794, Cochem tidak lagi menjadi bagian dari Trier karena kembali diduduki oleh Prancis. Setelah kekalahan Napoleon, wilayah Cochem diserahkan kepada Kerajaan Prusia seperti yang diatur oleh Kongres Wina.

Louis Fréderic Jacques Ravené membeli reruntuhan kastil Cochem pada tahun 1866 dan memulai proses pembangunan kembali. Setelah sebuah jembatan yang menyeberangi Sungai Moselle dibangun di Cochem pada tahun 1927, dua desa nelayan Cond dan Sehl baru menjadi wilayah kota seperti yang diatur oleh reformasi administratif pada tahun 1932. Jembatan ini disebut "Jembatan Skagerrak". Selama Perang Dunia II, banyak bangunan-bangunan tua di Cochem yang hancur. Orang-orang Yahudi di Cochem juga turut menjadi korban.

Semenjak tahun 1946, Cochem menjadi bagian dari negara bagian Rheinland-Pfalz di Jerman.