Форт воздвигнут португальцами под командованием Диогу де Азамбужа в 1481—1482 годах, и поэтому, вероятно, является первым фортом, построенным европейцами в Тропической Африке[1]. Форт Элмина является одним из старейших европейских зданий за пределами Европы, а город Элмина[en] считается местом первого контакта между европейцами и местным населением Тропической Африки[2]. Именно из Элмины после участия в строительстве в 1482 году отправился в своё первое плавание к югу Диогу Кан. Дуарте Пачеко Перейра занимал пост губернатора.

Элмина стала первым торговым постом португальцев в Гвинейском заливе и весьма важным для Португальской колониальной империи портом, а также одним из центров работорговли.

В 1637 году крепость была захвачена голландцами и оставалась в их руках до 1872 года, после чего перешла к англичанам и оставалась в их руках вплоть до провозглашения независимости Ганы в 1957 году.

В 1979 году исторический памятник в числе крепостей побережья Ганы включён в список всемирного наследия по версии ЮНЕСКО[3][2].