En lo alto de la peña El Castillo se encuentran los restos de un aljibe, excavado en la roca, de planta trapezoidal con 2,60 metros en el lado Norte, el de mayor longitud, por 1,60; 2,00 y 1,40 en el resto. Tiene una profundidad de más de 6 metros, conservándose restos de construcción de mampostería y cal a partir del primero.
En el lateral Este existe un pequeño canal, posiblemente para la captación de las aguas de lluvia, de 2,10 metros de largo y con una profundidad máxima en el borde del aljibe de 30 centímetros.
A pocos centímetros de las cuatro esquinas del aljibe se observan huecos que quizás pudieron servir para asentamiento de postes de madera.
El acceso a la peña se realiza por la parte Sur donde a escasos metros de la peña se observan restos de un posible muro, quizá de alguna construcción. Un poco más adelante unos nuevos restos podrían corresponder a una muralla que protegía este flanco.
Destacar la magnífica panorámica del valle de Valderredible que se observa desde lo alto de la peña El Castillo. Cercana a ella se encuentra la Cueva de la Caldera, donde se han encontrado grabados rupestres.
La iglesia parroquial de Berzosilla es del siglo XIII y esta dedicada a San Vítores, patrón de la localidad. Como curiosidad señalar que el río Ebro atraviesa la provincia de Palencia por la localidad de Báscones de Ebro, de donde toma su apellido, perteneciente a este municipio.
(Castillos de Palencia)