En el siglo XIX, José Antônio Saraiva, consejero del Ministerio de Hacienda, solicitó la construcción de un puesto aduanero para el control de las mercancías que fueran importadas y exportadas por el puerto de Río de Janeiro, la entonces Capital del Imperio. La posición de aquella isla era bastante cómoda para los inspectores de Aduana, debido a la proximidad de los puntos de anclaje, siendo que el traslado de mercancías podría ser ejecutado en embarcaciones pequeñas, sin gran dificultad.

La decisión de la construcción, así como de su estilo arquitectónico, fueron del emperador Pedro II, teniendo en cuenta no entrar en conflicto con el paisaje de la Serra do Mar. En la época, el Emperador fue citado diciendo: "La isla es un delicado estuche, digno de una brillante joya". Se optó así por un pequeño "Palacio" en estilo gótico-provenzal, inspirado en las concepciones del arquitecto francés Viollet-le-Duc, con proyecto de autoría de Adolfo José del Vecchio - entonces Ingeniero-Director de Obras del Ministerio de Hacienda-, en el que se destacaban las agujas y las almenas medievales para adornar la silueta de la edificación. El proyecto de Del Vecchio fue galardonado con la medalla de Oro en la exposición de la Academia Imperial de Bellas Artes, presentando el siguiente argumento:

Del Vecchio se preocupó también por el paisaje ornamental, habiendo declarado en reunión en el Ministerio de Hacienda:

Después de la decisión del emperador sobre una elección del proyecto para acoger la aduana, los recursos necesarios destinado para la ejecución fueron liberados en partes y, el 16 de noviembre de 1881, se asienta la primera piedra dando inicio a su construcción. Después de una serie de aterramientos con el fin de aumentar el área de 4 400 m² hasta 7 000 m², y aplanar las elevaciones existentes con un costo de 40:5$500 (cuarenta contos, cinco mil quinientos réis), se inició el castillo.

El 27 de abril de 1889 fue inaugurado el edificio con la presencia del Emperador, acompañado por Gastón de Orleans, Conde de Eu y una brillante comitiva; la transferencia del Cais Pharoux fue realizado utilizando el famoso galeote de D. Juan VI.

En una cierta mañana, ya en la República, un bote pasaba frente a la Isla Fiscal llevando a bordo a Ruy Barbosa, Aristides Lobo, Quintino Bocaiúva, Del Vecchio y otros personajes del régimen republicano. Al observar el blasón imperial tallado en gneis, con absoluto respeto a la heráldica y con los dos dragones soportándolo, uno de los pasajeros del bote declaró:

De la ocasión en que ocurrió ese hecho, data la consagración del edificio de la Isla Fiscal como imperecedera obra de arte y patrimonio de una era, debido a ostentar decoración inspirada en una monarquía.

En 1890 prosiguieron las obras de pavimentación en paralelepípedos, y en el extremo este fue construido otro edificio en estilo del principal con el fin de albergar las máquinas eléctricas y los servicios auxiliares. Dos años después, estaban totalmente concluidas las obras, con un costo total de 1051::322$584, mil cincuenta y un contos, trescientos veintidós mil quinientos ochenta y cuatro réis.

El 6 de septiembre de 1893, irrumpió en Río de Janeiro la llamada Revuelta de la Armada, en la que una parte substancial de la flota brasileña, comandada por el Almirante Custódio de Melo, se rebeló contra el gobierno del Mariscal Floriano Vieira Peixoto. Durante más de seis meses, la Isla Fiscal quedó en medio del duelo de artillería sostenido entre las Fortalezas leales al gobierno, y los navíos y fortalezas de la Isla de las Cobras y de la isla de Villegagnon en posesión de los rebeldes. Fueron múltiples los daños sufridos por el edificio de la Isla Fiscal con las paredes alcanzadas por proyectiles, las agujas de hierro derrumbadas, averías serias en los tejados, hilatura, muebles rotos además de estragos en los bellísimos vitrales. Como los gastos de restauración eran voluminosas, fue el motivo para que el ingeniero del Ministerio de Hacienda, Miguel R. Galvão, sugiriese la entrega de la Isla Fiscal al Ministerio de Marina, a cambio de algún edificio que se prestara mejor al servicio de aduana. El cambio sólo se efectuaría en 1913, casi veinte años después, no por un edificio, sino por Vapor Andrada, a propuesta del Almirante Alexandrino Faria de Alencar, Ministro de Marina, a su colega de Hacienda, el Dr. Rivadávia Correia. A partir de 1914, la Marina hizo funcionar en ese local, sucesivamente, la Oficina de Faros, Oficina Hidrográfica, Oficina Central de Meteorología, Oficina de la Carta Marítima, Superintendencia de Navegación, Dirección de Navegación y finalmente la Dirección de Hidrografía y Navegación.

En 1930, la isla Fiscal fue unida a de las Cobras por medio de un muelle de concreto transformándolas en dos islas geminadas, o, geográficamente, en una sola isla. En 1983, la DHN fue transferida a Ponta da Armação, en Niterói. La última organización militar que permaneció en la isla Fiscal fue la Agrupación de Navíos Hidroceanográficos, hasta marzo de 1998. A partir de esa fecha la Marina adoptó como parte de la política de revalorización de la memoria naval, abrir al público este notable conjunto, y simultáneamente mostrar a los visitantes, la contribución de la Marinha do Brasil al desarrollo de áreas fundamentales del país: social, científica y tecnológica.

El edificio se encuentra listado por la Prefectura de Río de Janeiro desde 1990, dando paso a diferentes trabajos de restauración desde 2001, coordinados por el Instituto do Patrimônio Histórico e Artístico Nacional (IPHAN), restaurando las pinturas del techo, de las paredes y del mosaico del pavimento del parque del torreón.

En 2006, la Marina organizó un proyecto con el propósito de montar una iluminación de verano para la isla Fiscal', y gracias a la colaboración con BR Distribuidora, la Marina presentó a la Ciudad de Río de Janeiro la bella construcción del ingeniero Del Vecchio con una sofisticada iluminación.