El Castillo de Cabra se levantó en el N.O. de la actual ciudad,dentro del recinto amurallado. Poseía una plaza de armas en la que podían formar ocho o diez mil hombres, estaba circundado por una fuerte muralla con 18 torres.
De la construcción original queda algo más de la mitad de la muralla y se ha podido determinar, con bastante aproximación, la planta del recinto que debió ser cuadrangular, de unos 76 x 47m.
El grueso de los muros es de unos 2.60m, aproximadamente. Respecto a las torres, podemos decir que se conocen bien dos de ellas, más el emplazamiento de otras dos, que se manifiesta a los lados de la actual puerta de entrada al recinto.
En el centro del muro este y medio saliente está la torre del Homenaje. Es casi cuadrada y tiene algo más de 20m de altura. A unos 11m del nivel del suelo actual existe una cámara cuadrada con bóveda de paños ochavada, con trompas en los ángulos.
La otra torre que se conserva está situada en el ángulo noroeste. Es de planta cuadrada, con el ángulo que da al interior del recinto chaflanado, conserva unos 10m de su altura.
En la actualidad el recinto acoge el convento-colegio de las RR.MM. Escolapias.