A Casa do Cardeal, construída durante o breve período borgiano no início do século XVI, é o único edifício destinado a habitação. Se Lucrezia ou outros membros da família Borgia tivessem ficado em Sermoneta, teriam à sua disposição um apartamento com quartos mais amplos do que os que a antiga residência Caetani lhes podia oferecer.
O edifício de um único piso está localizado no lado nordeste do grande pátio ou praça de armas e foi construído sobre as caves e as cavalariças. De conceção arquitetónica simples, foi ligeiramente modificado em épocas posteriores. O interior do edifício é composto por sete divisões: uma grande sala de receção à esquerda do eixo central do edifício e seis salas com metade do tamanho, duas à esquerda e quatro à direita do grande salão. De notável interesse na primeira sala à direita do salão, entrando à esquerda, é um grafite com um pentagrama (de cerca de 1580) com uma breve “fuga”.
O edifício foi enobrecido e tornado elegante, na primeira metade do mesmo século, pelos Caetani, talvez para o então muito jovem Nicolau III Caetani que, nomeado cardeal com apenas 12 anos, ocupou o cargo de 1537 a 1540.
O edifício destaca-se pela sua arquitetura elegante: tetos de madeira decorados, lareiras monumentais e restos de frescos renascentistas provenientes de Ninfa, a cidade medieval destruída no século XIV. Durante o domínio dos Borgia, a Casa do Cardeal foi adaptada para hospedar oficiais e dignitários, todavia manteve a sua função de receção e representação. Aqui realizavam-se reuniões diplomáticas e banquetes, num contexto que unia o poder religioso ao poder político. Hoje, ao visitar a Casa do Cardeal, percebe-se o contraste entre a severidade das estruturas defensivas e o requinte dos espaços privados, símbolo da vida aristocrática dentro da fortaleza.
