Este barrio debe su nombre a la gran piedra aquí situada, que formaba parte del recinto amurallado del Castillo. Muchas de las casas del Barrio del Peñón se adentran en el tajo donde se alzaba la fortaleza árabe.
Las casas cueva abundan en el término municipal de Iznájar. Muchas de estas construcciones trogloditas cuentan con una antigüedad que se remonta al Neolítico.
El interior de estas singulares viviendas se dividía en diversas estancias excavadas en la roca, cuyo número iba incrementándose paralelamente al crecimiento de la familia que la habitaba. La gran ventaja de este tipo de construcción radica en su temperatura, ya que permanece constante todo el año en torno a los 18º C, por lo que sus moradores disfrutan de un ambiente cálido en invierno y fresco en verano.