En 1266 Guillema de Peratallada se casó con Gilabert de Cruïlles, uniendo de esta manera las dos casas. A pesar de disponer de un gran patrimonio en tierras ampurdanesas, el siglo XIII no fue un siglo muy bueno para muchas familias catalanas, y esta no fue una excepción y pasó alguna que otra situación económica complicada.
El siglo XIV, en cambio, es un período de prosperidad para el castillo, donde incluso se aloja el rey Juan I de Aragón en 1390. Del castillo aún se conservan varios elementos muy significativos. Destaca el núcleo central, formado por la torre del homenaje, rodeada por un primer recinto de murallas. Está situado en un lugar elevado, construido sobre la roca. Para incrementar el desnivel respecto al nivel del suelo se cortó la roca, verticalmente, como si se tratara de una pared.