Por desgracia, la falta de datos concretos y de estudios en la zona sobre el verdadero origen del pueblo hace que se hable de suposiciones de historiadores. Unos piensan que en las proximidades de la actual ciudad se encontraba un asentamiento denominado Caricus, en tiempo de los celtas.[1]​[2]​ También se ha sugerido la existencia de una ciudad llamada Gran Cenosia, que estaría asentada en las proximidades del actual núcleo, por la época de los Visigodos, en la zona de Valle Hermoso.[1]​

Diversos autores ha intentado seguir el rastro de la primitiva Olvera durante la época romana. Se ha sugerido el nombre de Ilippa o Ilipula Minor,[2]​ asentamiento que se ajusta geográficamente en un mapa de la España Romana, editado en 1879, entre Morón y Ronda. Pero lo cierto es que nombres como Hippa o Hippo Nova también suenan como posibles nombres del asentamiento, apelativos mencionados por Plinio en su "Historia".[3]​ En el término de Olvera, concretamente en la Sierra de Lijar, se encontraron numerosos restos romanos en el verano de 1986.[4]​ El arqueólogo Lorenzo Perdigones redactó un informe donde se manifestaba la existencia de un asentamiento romano en el lugar, datado, posiblemente, en los finales del siglo III d. C.

A principios del siglo VIII, los musulmanes se aprovechan de las luchas internas de los visigodos para invadir la península. En una fase temprana de la ocupación, los bereberes se extienden por la sierra gaditana, ocupando los antiguos núcleos de la zona. Es posible que la localidad se convirtiera en la Calcena que describe Al-Himyari, una importante ciudad, cabecera de la Cora de Saduna.

Olvera se situaba en la frontera entre el reino de Castilla y el reino de Granada, por eso era frecuente que los cristianos intentaran conquistarla. Uno de los intentos más importantes es el llevado a cabo por Don Juan Manuel, suegro de Alfonso XI en el verano de 1326, pero al ver lo estratégicamente situado que estaba y las murallas, desiste de su intento.

La conquista cristiana se planifica en Sevilla, lugar hacía donde se traslada el rey Alfonso XI en marzo de 1327. La conquista de Olvera no era un hecho aislado militar, formaba parte de la estrategia de conquistar el estrecho de Gibraltar, zona de vital importancia tanto para el reino de Castilla, como para el de Granada.[5]​

El rey celebra Cabildo para asesorarse del lugar por donde debería empezar su lucha y de lo que allí sucedió nos da cuenta la crónica:

El ejército real parte de Sevilla el 15 de julio de 1327, junto al monarca iban numerosos nobles. El asedio dura varios días pero no toda la tropa participa. Otra parte se dedica a saquear los pueblos cercanos.

La guarnición de Olvera no puede resistir el definitivo asedio cristiano que se apoya en «máquinas e ingenios bélicos» que atemorizan a los moros nazaríes, decidiendo rendir la ciudad a finales del mes de julio. Tras las negociaciones que siguen a la rendición, Ibrahim ibn Utmán consigue que se respete la integridad de la guarnición mora de Olvera y que cada uno de sus habitantes conserve sus viviendas y bienes.

Ocupada la villa, la mayoría de musulmanes la abandonan. La aldea se repuebla a través de una “Carta puebla” emitida el 1 de agosto de 1327, con la cual se le quitaban las penas a todos aquellos criminales y presos por permanecer un año y un día en la villa. De ahí el refrán: «Mata al hombre y vete a Olvera». Esta manera de repoblamiento es aplicada por primera vez en Olvera y se extiende posteriormente por toda la frontera.[5]​

A esta nueva adquisición del reino de Castilla se le denomina Olivera, nombre dado por el mar de olivos que rodean su entorno. El primer alcaide cristiano de Olivera es Rui González de Manzanero.[7]​

Tres casas señoriales tuvieron el dominio de Olvera. Tras los continuos ataques musulmanes, la villa pasa a formar parte de los Pérez de Guzmám siendo primer señor de Olvera Álvar Pérez de Guzmán en 1330. En 1395 Alvar Pérez de Guzmán III, cuarto señor de Olvera concierta el matrimonio de su hija Isabel con el hijo de los Stúñiga, Pedro González de Stúñiga, prometiendo como dote la villa de Olvera pasando en 1407 a formar parte de las posesiones de los Stúñiga. En 1460 es vendida por 1 700 000 maravedíes a los Téllez Girón.[5]​

En los años 1481 y 1482, los musulmanes intentan recuperar Olvera en varias ocasiones. En 1485 tras la conquista de Ronda, los Reyes Católicos adelantan la frontera y suspenden el pago que realizaban a los mantenedores de las ciudades fronterizas, perdiendo Olvera importancia estratégica.

En los inicios del siglo XVI se levantó a 2 km de Olvera, en el lugar llamado "los pinos", una pequeña ermita en cuyo altar se colocó de la imagen de la Virgen de los Remedios.

En 1562, Pedro Téllez Girón se convierte en duque de Osuna, que serán los señores de la villa hasta 1843, año en el que quiebra la familia, y en el que el título de señor de Olvera queda vacante hasta que en el 8 de agosto de 1974, el jefe del Estado en funciones, el entonces príncipe de España Juan Carlos de Borbón, se rehabilita al general Vicente Fernández Bascarán en el citado título tras demostrarse su parentesco con el último Señor de Olvera. En 1976, el entonces jefe del Estado, Juan Carlos I, convalida una serie de títulos nobiliarios otorgados durante el franquismo, entre ellos se encuentra el Señorío de Olvera, al cual se le otorga Grandeza de España.

En aquella época llega a Olvera los ecos de la rebelión de los moriscos en las Alpujarras. Los musulmanes convertidos a la fuerza al cristianismo y sometidos a crecientes presiones, estallan en una revuelta que pronto se extiende por la sierra gaditana. El problema acaba con la expulsión de los moriscos de España en 1609.

El siglo XIX comienza con la invasión francesa de España, la zona de Olvera queda dentro del territorio asignado al 4.º ejército francés. Los franceses establecen una importante guarnición en Ronda, desde donde se desplazan destacamentos hasta Morón, Zahara y Olvera.[5]​

En dos ocasiones invaden los franceses Olvera. La primera ocurre el 20 de marzo de 1810 siendo meramente de paso, ya que el destacamento francés se dirigía hacia Ronda desde Sevilla, pasando aquella la noche en Olvera. Jean Michel Rocca, soldado suizo al servicio de Napoleón, dejó escritas unas memorias de la reducida estancia en Olvera.[8]​

La segunda invasión tiene lugar el 5 de abril de 1810 durando más de dos años. Durante ese período los franceses cometen numerosas tropelías en el municipio, entre las que destacan asaltos a las iglesias, deterioros en las murallas y el castillo, daños en la casa consistorial y quema del archivo municipal, etc. Además de innumerables pérdidas humanas por parte de ambos bandos.

En la sierra gaditana y malagueña, lo escarpado del terreno favorece la aparición de partidas de guerrilleros que traerán a mal vivir a los franceses. Muchos guerrilleros participan en las guerrillas, como el franciscano capuchino Antonio Porras (Fray Miguel de Olvera) fusilado en 1811 o el destacado guerrillero Tomás de Anoria. Bastante mal parado, el ejército francés se retira de la serranía en 1812.

En 1833, con la reforma administrativa, organizando el país en provincias, Olvera es segregada de Sevilla y desde 1834 Olvera queda encuadrada en la provincia de Cádiz.[9]​

En 1868 comienza en Cádiz la revolución conocida como La Gloriosa, la localidad la recibe con alborozo.[5]​ Las corporaciones municipales se convierten en Juntas Revolucionarias, pero estas juntas estaban formadas por las mismas personas que gobernaban los pueblos. En el caso de Olvera, el alcalde Francisco Villalba pasó a ser Presidente de la Junta Revolucionaria. Francisco Villalba se opone a que el pueblo sea el que elija a su máxima autoridad, pero los ciudadanos se revelan y por la votación de 1310 vecinos, pasa a ser nuevo presidente de la junta, José Bocanegra Sabina. Solo una semana duró, ya que el ministro de la gobernación destituye al nuevo ayuntamiento y repone de sus cargos a los anteriores.[10]​ Tras un breve paso por la república, en 1877 el rey Alfonso XII concede a la villa “Título de Ciudad”, en agradecimiento a ciertos caballos que le presta el pueblo de Olvera para una de las guerras carlistas.[5]​

La comunicación con el exterior de la ciudad es el principal factor de cambio. El 20 de agosto de 1892 comienza a funcionar la primera estación telegráfica.

En la primera mitad del siglo XX se construirán las primeras carreteras que llegan a Olvera. En 1904 la carretera que conectaba a Olvera con Pruna, Morón de la Frontera y Sevilla. En 1905 la carretera hacia Algodonales y en 1908 la que conectaba la localidad con Ronda.

En 1904, el municipio recibe por primera vez "fluido eléctrico para el alumbrado público" a través de la Fábrica de luz. El agua potable llega en 1914 e inicialmente únicamente abastecía a las fuentes públicas.[6]​

Los años de la dictadura de Primo de Rivera suponen un respiro económico para los olvereños que se benefician de diversos trabajos,[11]​ destacando la construcción de la vía del ferrocarril que unía Jerez con Almargen, recorriendo de este a oeste el término municipal de Olvera. El proyecto no llegó a terminarse. Hoy día se ha convertido el trazado en la Vía Verde de la Sierra.[12]​ Otra importante construcción fue el Monumento al Sagrado Corazón.

Con la República cobra auge el movimiento obrero. A diferencia de muchos puntos de Andalucía la CNT solo contaba en Olvera con 80 militantes. Sin embargo, la UGT era mayoritaria en Olvera, con organizaciones como la "Sociedad de Obreros Agrícolas "El Triunfo"" con 1150 afiliados y el "Sindicato Agrícola "Los Previsores". Olvera era la localidad con más arrendatarios ugetistas de la provincia[13]​ e Izquierda Republicana el partido más votado

Con la rebelión militar producida en julio de 1936 la corporación no duda en proclamar cual es su sitio:

El ayuntamiento ordena incautar todas las radios del municipio para que no se pudiera escuchar la propaganda de los rebeldes. Sin embargo, la localidad es ocupada por una tropa de regulares y falangistas procedente de Jerez de la Frontera el 28 de julio de 1936.

Desde que se proclamó el estado de guerra por los sublevados, el bando franquista no fue capaz de tomar el timón del pueblo, y hasta el día 27 los republicanos controlaban algunos barrios y los sublevados los demás. El día 27 de madrugada fuerzas republicanas procedentes de Ronda ocupan Olvera. Pero a las pocas horas (el 28 de julio) a las 9 de la mañana los franquistas tomaron la ciudad olvereña quedando así finalizada la guerra civil en la localidad.[15]​

Una vez acabada la contienda se desató una feroz represión contra cualquiera que no hubiese tomado partido de la sublevación. El saldo de muertes del pueblo debido al conflicto fue aproximadamente: de 14 fallecidos por el bando franquista, y 200 por los republicanos. Inclusive tres olvereños estuvieron en campos de concentración nazis, llegando solo uno a sobrevivir.

Durante los años de la posguerra la ciudad vive una profunda crisis que provoca la emigración de muchos olvereños al norte de España y a países como Francia, Países Bajos, Suiza y Alemania.

La instauración de la democracia y la promulgación de la Constitución española de 1978 se convierte en el punto de partida de una nueva etapa en toda la nación. Las elecciones celebradas con posterioridad son ganadas en Olvera por el PSOE con 9 concejales, seguido de UCD con 6 y de PCE con 2. El alcalde socialista, Antonio Sánchez Trujillo se convierte en el primer alcalde de la democracia. De su mano, el consistorio comienza un importante proceso de modernización y adaptación de las infraestructuras a los nuevos tiempos.

La historia más reciente del Olvera nos lleva a la declaración de Conjunto Histórico-Artístico en 1983.[16]​