Klaksvík ha estado poblada desde la era vikinga.[1]​[2]​ Originalmente había cuatro granjas en la zona. En la costa oriental de la bahía de Borðoy (Borðoyarvík) hay ruinas de una granja que fue sepultada por un alud de nieve el 12 de marzo de 1745, y nuevamente en 1765. Un poco más lejos del pueblo está Íslendingatoftir, una zona arqueológica con algunas viviendas vikingas.

En 1901 el poblado de Klaksvík contaba solo 88 habitantes. A partir de 1838 el pueblo creció rápidamente, cuando el monopolio comercial danés estableció una sucursal en el lugar.[3]​ La situación geográfica de Klaksvík, con su bahía bien protegida, hizo que el pueblo sirviera de puerto invernal para barcos de gran calado, lo que originó que varios marineros se establecieran aquí.[3]​ Eso fue el inicio para que Klaksvík experimentara un notable desarrollo económico y demográfico que la convirtió en el puerto pesquero más importante de las Feroe.[3]​ Alrededor de 1940 Klaksvík se convirtió en la segunda localidad más poblada de las Islas Feroe, superando a Tvøroyri y solo por debajo de Tórshavn.

Klaksvík formó su propio municipio en 1908,[2]​ cuando se separó del municipio de la parroquia de Norðoyar.[4]​ El municipio de Mikladalur, que incluía los pueblos de Trøllanes y Mikladalur, en el norte de la isla Kalsoy, se integró a Klaksvík en 2005, y en 2009 hizo lo propio la isla de Svínoy, que hasta entonces había sido un municipio independiente. Como parte de la fusión de municipios que ha estado ocurriendo en las Islas Feroe, existen propuestas para integrar en un solo municipio a todas las islas del norte (Norðoyar), con capital en Klaksvík.[2]​