El museo fue fundado en 1880 por el Gobernador General John Douglas Sutherland Campbell, noveno Duque de Argyll, y en 1882 se ubicó en su primera sede, sobre la Parliament Hill, en el mismo edificio que el Tribunal Supremo.[1]​ En 1911 se trasladó al Victoria Memorial Museum, actualmente la sede del Museo Canadiense de la Naturaleza. En 1913 la primera ley sobre la Galería Nacional se aprobó, delineando los objetivos de la institución y sus recursos.[1]​ En 1962 la National Gallery se trasladó a un edificio de oficinas bastante insulso en la calle Elgin de Ottawa, junto a la Alta Comisión Británica. Se trasladó a su actual edificio en Sussex Drive, junto a Nepean Point, en 1988.

En 1985 el recién creado Museo Canadiense de Fotografía Contemporánea (CMCP), anteriormente la División de Stills Photography del National Film Board of Canada, fue asociado a la galería nacional. El mandato de CMCP, su colección y personal se marchó a su nueva sede en 1992, en el n.º 1 de Rideau Canal, junto al Château Laurier. En 1998 la administración de CMCP fue fusionada con la de la Galería Nacional.