La Plaza de los Olmos puede considerarse un patio exterior fortificado, concebido con fines defensivos. Debe su nombre a los olmos que antiguamente daban sombra a esta zona; el último fue retirado a comienzos del siglo XX, cuando ya se había secado por completo.
En la Edad Media fue un animado espacio comunitario donde transcurría la vida cotidiana: intercambios comerciales, encuentros y reuniones sociales entre los habitantes del castillo y los vecinos del pueblo.
En la plaza se localizan varios pozos que, según el estudioso Pantanelli, pudieron utilizarse para almacenar grano.
Incluso durante el Renacimiento, cuando el castillo se transformó en residencia nobiliaria, la plaza mantuvo su función práctica y adquirió además una dimensión ceremonial. Elementos decorativos — entre ellos capiteles reutilizados procedentes de distintas partes del castillo — embellecían el espacio, preparado para acoger a visitantes distinguidos.
