El recinto amurallado de este municipio del Valle Medio del Guadalquivir es una joya en su género. Declarado Bien de Interés Cultural, comprendía un castillo o alcazaba almohade del siglo XII, en el extremo noroeste del recinto, que asistió a las luchas entre musulmanes y cristianos. A la sazón, el lugar se llamaba Balma, de acuerdo con una referencia de Ibn Sahib al-Sala fechada en 1173. Unas décadas después, en 1241, la plaza fue conquistada por Fernando III el Santo, y, ya en el siglo XIV, el rey Pedro I donó tanto el castillo como la villa a Ambrosio Bocanegra, hijo del almirante Micer Egidio Bocanegra.
Todavía hoy persisten, y en buen estado, los torreones de su cerca medieval, la mayoría de planta rectangular. Sin embargo, apenas quedan restos del castillo, ya que fue abandonado a su suerte como residencia nobiliaria allá por el siglo XVI. Sabemos, eso sí, que era de planta irregular y que disponía de cinco torres cuadrangulares. El mayor torreón, la Mesa de San Pedro, se ha identificado con la torre del homenaje.
En su día, dos accesos franqueaban la entrada al interior del recinto amurallado: la puerta que hoy llamamos del Arquito Quemado –junto a la que se alza una torre de planta poligonal–, y la del Sol, de acceso con recodo, que ha sido recuperada a comienzos del presente siglo.