A pequena igreja foi provavelmente construída na Idade Média, perto da Torre do Belvedere, e dela restam apenas alguns fragmentos e alguns capitéis dos séculos X-XI espalhados pelo castelo, além de restos da alvenaria, do pavimento e da base de uma coluna embutidos na muralha, voltados para o fosso.
Com planta simples e abside semicircular, representava o centro religioso da corte e local de sepultura dinástica dos Caetani. As crónicas atestam a presença de frescos do século XIV, hoje perdidos.
Durante o período borgiano, a igreja de S. Pietro in Corte (São Pedro na Corte) foi destruída e as suas pedras foram utilizadas para novas construções, como ato de damnatio memoriae contra a família, apagando um símbolo de poder e devoção.
Atualmente, resta apenas a área onde se erguia, na Praça de Armas, que testemunha a estratificação histórica de uma fortaleza que foi ao mesmo tempo fortaleza, residência e centro de fé.
