A origem do lugar é desconhecida, a não ser pelas histórias contadas de geração em geração. Segundo uma dessas histórias, as casas subterrâneas foram inicialmente construídas depois das Guerras Púnicas os romanos enviaram duas tribos para se estabelecerem na região de Matmata com permissão de matarem quem quer que se intrometesse no seu caminho. Os habitantes da região tiveram que deixar as suas casas e escavar grutas no chão para se esconderem dos invasores, mas deixavam os seus abrigos subterrâneos à noite para atacarem os invasores, uma técnica que parece ter resultado, pois estes acabaram por abandonar Matmata. Outra lenda conta que os invasores foram mortos por monstros que emergiram de debaixo da terra. Em qualquer das versões, os habitantes permaneceram escondidos numa área que foi muito perigosa durante séculos e praticamente ninguém sabia da sua existência até 1967.[a]

A sobrevivência nas severas condições locais era muito difícil, pelo que era costume os homens da aldeia procurarem emprego sazonal nos olivais do norte entre a primavera e o outono. Geralmente eram pagos em azeite, que trocavam por outros bens, o que lhes proporcionava alimento, roupas, etc. para as suas famílias.[a]

Durante a Segunda Guerra Mundial, muitos habitantes de Gabès procuraram refúgio em Matmata no decurso dos bombardeamentos dos Aliados à cidade, então em mãos da Alemanha Nazi.[b]

Matmata foi igualmente o reduto de fellagas (nome dado aos resistentes que se opunham ao protetorado francês) que combateram os franceses comandados pelo Mohamed Daghbaji (1885-1924). Muitos dos companheiros de Daghbaji eram naturais de Matmata e ele próprio era da região de El Hamma.[b]

Pouco depois da independência em 1956, o governo tentou convencer as populações montanhesas a instalarem-se nas novas cidades construídas no planalto do Aradh (Nouvelle Matmata [Nova Matmata] e Nouvelle Zrawa), mas a maioria da população preferiu continuar a morrar perto das suas hortas empoleiradas nas montanhas. No entanto, na sequência de terramotos e grandes cheias ocorridas na década de 1960 e 1970, que destruíram grande parte das casas trogloditas, muitos habitantes acabaram por se mudar para aquelas novas cidades.[b]

A saga cinematográfica Star Wars (Guerra das Estrelas) contribui muito para promover Matmata turisticamente, pois um dos lugares onde foram feitas as filmagens da casa de Luke Skywalker, da sua tia Beru e do seu tio Owen Lars, foi o Hotel Sidi Driss, cuja construção segue os métodos tradicionais da região, ou seja, todas as suas instalações são trogloditas.[a]
Erro de citação: Existem etiquetas <ref> para um grupo chamado "lower-alpha", mas não foi encontrada nenhuma etiqueta <references group="lower-alpha"/> correspondente