За първи път Висовац се споменава през 1345 г. в дарителска грамота на крал Луи I Валоа-Анжуйски, според която град Рог и остров Висовац са предадени на княз Будислав Угринич[1]. Скоро след това под защитата на хърватските боляри на острова се заселват августинци и построяват малък манастир в чест на Св. Павел. Още по-късно, през 1440 г., на острова пристигат францисканци от Босна, търсещи спасение от османското нашествие, и разширяват и дострояват вече съществуващия манастир за своите нужди.

В книгата на хърватския свещеник Гаспар Петър Винялич „Povijesno-kronološki pregled najvažnijih događanja o Ilirima i Slavenima u Dalmaciji, Hrvatskoj i Bosni“ (Compendio istorico e cronologico delle cose più memorabili accorse agli Iliri e Slavi in Dalmazia, Croazia e Bosna), написана през XVIII в., се казва, че предишното име на острова било Бялата скала, но след като турците тук обесили няколко францискански монаси, островът получил името Висовац. А проф. Драгутин Франич (1864-1924), хърватски учен и публицист, помества в своята „S gjacima...“ (стр.308) следната забележка:„На Висовац има францискански манастир, споменат от 1400 г. (Lapis Alba). През 1645 г. турците убили двама безпомощни братя францисканци. Манастирът е обновен и отново действащ от 1676 г.“

През XVIII век е изграден нов манастир, който францисканците поддържат. В манастирската библиотека се съхраняват стари ръкописи, различни документи като напр. султански едикти, богата колекция от ценни книги, произведения на изкуството и др.