Más adelante Bilibio aparece nombrado en un documento del rey navarro García Sánchez III de Navarra "el de Nájera" por el que donaba a su esposa Estefanía de Foix, mediante la carta de arras, "Bilibium cum Faro et cum sua pertinencia", firmado el 28 de mayo de 1040. En esta época el castillo de Bilibio pertenecía a Álava, pues dependía de sus condes y no de los de Nájera. Además cuando en 1052 García Sánchez quiso trasladar las reliquias de Felices de Bilibio al Monasterio de Santa María la Real de Nájera, lo solicitó a don Nuño, obispo de Álava. Esto permanecería así hasta que pocos años después quedase en manos de la Familia Haro.
Parece ser que sus habitantes se fueron trasladando a la aldea de Haro, trasmitiéndola sus usos, costumbres, tradiciones (como la honra a San Felices), glorias y bienes, quedando Bilibio primero deshabitado y con el tiempo abandonado.
En los documentos que recogen el traslado de las reliquias de Felices de Bilibio a San Millán el 6 de noviembre de 1090 aparece continuamente el castillo bilibiense y el conde Lope como su gobernador. Llorente citando a Moret recoge una donación de 1076 en la que uno de sus firmantes es el mismo Lope Íñiguez, señor de Bilibio.
El fuero de Miranda de Ebro de 1099, señalando los término jurisdiccionales, dice:
Et cum alfocibus quœ fuerunt de Cellorigo et de Bilibio qui sint de Miranda, et de Cellorigo, et de Bilibio quœ remanent in se.
Y más adelante:
Et Ebro versus sursum sub Bilibio totus Ebro, interus eundo, usque dum jun guntur Zadorra et Ebro.
En el fuero dado a Haro por Alfonso VIII en 1187 cedía a dicho población las heredades que tenía en Faro y en Bilibio.
En el testamento del adelantado Pedro Manrique otorgado en Valladolid el 20 de septiembre de 1440, se ve una cláusula por la que manda a su hijo Diego Manrique "las tenencias de los castillos de Davalillo y Vellivio, para que las tengan por el Rey mi Señor como yo las tengo."
Sandoval publicó su Historia de los Monasterios de la orden de San Benito de España en el año 1601. En esa fecha era tan reciente el abandono del castillo de Bilibio, que de una información recibida ese mismo año, resulta, que las puertas del Castillo de Bilibio, estaban sirviendo entonces en casa de Francisco Ojeda, vecino de la villa de Haro.
