El centro concertado San José de Cabra, de las madres escolapias, tiene su sede en esta fortaleza del siglo IX. Su elemento más visible es la torre del homenaje, que se eleva hasta los veinte metros y en cuya parte inferior se encuentra el Salón Redondo, una cámara con bóveda ochavada de estilo neomudéjar. Tales eran en su día las dimensiones del recinto, que su plaza de armas podía albergar hasta diez mil hombres, ufanos bajo el adarve y las dieciocho torres que presentaba el doble muro.
Según algunos autores, Enrique II de Castilla, el Fratricida, vio la luz en este castillo, a la sazón propiedad de su madre, Leonor de Guzmán, la favorita de Alfonso XI. Corría el año 1334 y el castillo cargaba ya con un largo historial a sus espaldas: duelos al sol entre taifas –la de Granada y la de Sevilla, esta última respaldada por el Cid Campeador–, conquista cristiana a manos de Fernando III, dominio de la Orden de Calatrava… Con posterioridad, Boabdil penó tras sus muros su derrota en la batalla de Lucena (1483), fue residencia de los condes de Cabra –el primero de los cuales encerró aquí a su primo, el Gran Capitán– y hasta convento franciscano. Este, fundado por el IX conde de Cabra, Antonio Fernández de Córdoba, alberga una de las obras señeras de Juan de Valdés Leal, Visión de San Francisco en la Porciúncula.