O assentamento na Ko Panyi foi estabelecido no final do século XVIII por pescadores malaios nômades.[1] Foi durante esta época que a lei limitou a posse da terra unicamente às pessoas de origem tailandesa e, devido a este fato, a maior parte do povoado foi construído sobre palafita na baía da ilha, proporcionando fácil acesso para as atividades de pesca. Com o aumento da riqueza na comunidade, devido ao crescimento da indústria do turismo na Tailândia, tornou-se possível a compra de terras na ilha e foram construídas as primeiras estruturas de relevância: uma mesquita e um poço de água doce.