La Casa del Cardenal, construida durante el breve periodo Borgia a comienzos del siglo XVI, es el único edificio del castillo concebido específicamente como residencia.
Fue proyectada para ofrecer a Lucrezia Borgia u otros miembros de la familia Borgia un alojamiento más amplio y confortable que la antigua casa de los Caetani, en caso de visitar Sermoneta.
Este edificio de una sola planta se sitúa en el lado noreste del patio principal (Piazza d’Armi) y fue levantado sobre las bodegas y las caballerizas.
Se caracteriza por líneas arquitectónicas sencillas y sufrió ligeras modificaciones en épocas posteriores.
El interior consta de siete salas: una gran estancia de recepción a la izquierda del eje central y seis habitaciones más pequeñas, dos a la izquierda y cuatro a la derecha del salón principal.
Resulta especialmente interesante el mural de la primera habitación a la derecha del salón (entrando por la izquierda), donde aparece un pentagrama musical — fechado hacia 1580 — con una breve fuga.
El edificio fue enriquecido y decorado por los Caetani durante la primera mitad del siglo XVI.
Es posible que estas intervenciones estuvieran destinadas al joven Nicolò III Caetani, nombrado cardenal con tan solo doce años y titular del cargo entre 1537 y 1540.
