Un siglo después de la conquista de esta plaza por Fernando III el Santo, quien destruyó el castillo primigenio, esta cayó en manos del enemigo por la traición de un escudero. Sin embargo, el reino nazarí de Granada fue capaz de retener la fortaleza solo catorce años, hasta que Alfonso XI se hizo con ella en 1341, en un constante toma y daca entre cristianos y musulmanes.
El mismo Alfonso reforzó las murallas de esta antigua alcazaba islámica del siglo IX, antaño disputada por Omar ibn Hafsún y que, a mediados del siglo XIII, pasó a manos de la Orden de Calatrava. Fueron estos caballeros quienes levantaron la torre del homenaje, o torre Gorda, una estructura de 30 metros descentrada en el patio de armas y dividida en tres plantas; la primera, un aljibe; la segunda, un almacén; y la tercera, una residencia, comunicadas entre sí mediante una escalera de caracol.
Donado a la ciudad en 1996, tras permanecer en manos privadas desde el siglo XIV, el castillo nos cautiva por su perímetro amurallado de tendencia pentagonal, flanqueado por varias torres cuadrangulares y una cilíndrica. La entrada se sitúa en el lado sureste y, dentro de la cerca, se reconocen dos aljibes y un espacio cuadrangular de dos plantas en el que, posiblemente, se ubicaran las caballerizas.