En el siglo XII la población se iría extendiendo por la ladera Sur del primitivo castillo, denominado popularmente como “de la Reina”, con sencilla iglesia a sus pies dedicada a Santa María (posible mezquita anterior) que da nombre al barrio, en expansión demográfica por la repoblación de tierras recuperadas a los moros.
La principal referencia documental de la época es para la Virgen de la Sierra a raíz del testamento de Alfonso I el Batallador, que en el reparto del reino entre las Órdenes Militares queda bajo la administración de la del Santo Sepulcro de Calatayud, quienes construirían sobre la primitiva iglesia existente, la nave de la actual, de finales del siglo XIII o principios del XIV.
Este santuario y casa-hospital cabría encuadrarlo dentro de uno de los caminos jacobeos procedente de Levante por el valle del Jiloca, para continuar por el Ribota atravesando la sierra de la Virgen y conectar con la ruta cisterciense de Trasobares, Veruela, etc.; basado ello en la tradición oral y en una serie de referencias como la pila del agua bendita de la iglesia con conchas de peregrino, o el hospital de San Marcos de la propia Villarroya.
En cuanto a la villa, el aumento demográfico del siglo XIII, iría configurando un nuevo barrio al Este, al otro lado del entonces barranco y hoy calle Virgen de la Sierra, arracimándose la población en la ladera Sur del promontorio en el que comienza a construirse otro sistema defensivo, teniendo como lugar de culto una nueva iglesia que se emplazaría en la parroquial actual, pero de menores dimensiones.
La información documental referente a la anteriormente mencionada iglesia de Santa María como de “Mediavilla”, dice de la existencia de dos barrios claramente diferenciados, barranco por medio. Una rudimentaria muralla recogería el conjunto, y un eje de Este a Oeste, en su parte baja, iría definiéndose como principal, correspondiendo a la actual calle Real.
Es a finales de este S. XIII cuando está en construcción un nuevo castillo al oriente, de cara a la protección y cabida en caso de necesidad de la mayor población, con dos recintos y una potente torre cuadrangular, llamado popularmente “del rey”, en mampuesto de piedra con sillares de arenisca en las esquinas, frente al más rudimentario de tapial o “de la reina, propio de una época más inestable.
Y también corresponde a estas fechas la cabecera en piedra sillar de la nueva iglesia, que se construye formando parte de la muralla.
Así pues, la configuración de entonces sería similar a la actual en su casco antiguo, extendiéndose el sencillo caserío, de planta baja y piso como mucho, por las laderas al Sur de los dos montículos correspondientes a los actuales castillos.
De Villarroya dependen otros núcleos menores como son Vadillo y Horcajo, habitados igualmente desde antiguo formando parte de la Comunidad de Aldeas de Calatayud, que por aquellas fechas plantean su desvinculación del núcleo principal, sin que el proceso llegue a efecto.
El desplazamiento del frente de la reconquista hacia el Sur llevó consigo la fijación y aumento de la población en el municipio, a la par que se van definiendo claramente los límites entre reinos. Villarroya quedaba en una situación fronteriza al Oeste de Aragón respecto al vecino de Castilla, cuya rivalidad creciente supuso la necesidad de fortificarse en condiciones, con capacidad intramuros para personas y ganados.
La tensión entre dichos reinos, desembocó en continuas guerras que asolaron la frontera a mediados del siglo XIV. La más dura y sangrienta fue entre 1356 y 1369, la llamada guerra de los dos Pedros: I -el Cruel- de Castilla y IV -el Ceremonioso- de Aragón, sufriendo el municipio repetidas incursiones y cambio de reino.
El municipio configurado alrededor de los dos castillos fuertes, con sus respectivos recintos, quedó delimitado por una alta muralla tal como se ha conocido hasta bien entrado el siglo XX, de la que se conservan abundantes restos y teniendo el siguiente recorrido:
Las traseras de las edificaciones a lo largo de la actual calle Real Alta; fachadas del paseo Joaquín Costa con la lateral del Ayuntamiento; Iglesia Parroquial para continuar por la pared entre el teatro Lorente y hospital de San Marcos; traseras de las viviendas en la calle Real Baja; fachadas de los edificios frente al frontón; fondo de los corrales y almacenes de la calle Barranco o del “muro” (muralla); hasta el segundo recinto exterior del castillo “del rey”; conformado por el desnivel natural del terreno en la zona.
De allí continuaría por la plaza de toros “la Dula”; quebrando hacia el lateral Norte del castillo “de la reina”; y siguiendo con los tramos conservados en el “Somantano” (arrabal exterior al pie de monte o somontano); para enlazar con lo descrito en primer lugar. Ello con todos los sistemas defensivos de la época referentes a torres en esquinas, intermedias y para protección de las puertas, paso o adarve, almenas con antepechos y merlones, etc.
En cuanto a las puertas, dispondría de una serie de ellas principales con algún portillo de menor importancia, repartidas de acuerdo al viario conformado siguiendo la topografía del terreno.
Conocidas nos son por su existencia: la denominada “Baja” o del “Muro”, al N-E en calle Puerta Añeja de salida a la sierra; y la situada al N-O, como “Sumo Aldea” en el extremo de la calle Real Alta, hacia Castilla y al arrabal del “Somantano”; pero según la tradición oral había otras como la del extremo de la calle Real Baja, al Este hacia Calatayud frente al frontón; al final de la calle Virgen de la Sierra o Norte, como salida a “la Dula” y eras; o la Sur de salida al río y la vega, entre la Iglesia y el Ayuntamiento, que sería la principal y la que más impronta e imagen defensiva daría a la población, por estar dotada de barbacana o construcción exterior para su defensa, como así sigue denominándose a la zona del poyo corrido en el desnivel de la carretera con la hondonada de la fuente.
Intramuros, existiría frente a esta última puerta un gran espacio libre a modo de plaza de armas, mercado y relación, coincidente con la actual plaza Mayor.
Dentro del sistema de comunicaciones para la defensa del reino en épocas de tensión frente al oponente de Castilla, el poblado de Horcajo controlaría las incursiones que pudieran producirse a través de los ríos Vallunquera y Clarés-Ribota; el de Vadillo, aguas abajo, lo haría con las procedentes de Bijuesca y el Manubles por detrás de Mayormente, así como las del Aranda; enlazando visualmente mediante señales con la propia Villarroya a través de un punto vigía situado en las eras, coincidente con la destruida ermita de San Bartolomé; y todo el conjunto con la Virgen de la Sierra, que recogería conexiones incluso más lejanas como p. e. del valle del Manubles y cabecera del Aranda, para a través de las Peñas de Herrera conectar hacia la capital, Zaragoza.
Pero aquellas guerras del S. XIV no fueros las únicas. También a mediados del siglo XV pasó el municipio a manos castellanas volviendo a reconquistarse. Conocida es la incursión y toma de la villa por las tropas de Castilla (1452) al mando del Conde de Medinaceli por la traición de un vecino, sin poder ser recuperada por Aragón hasta el tratado de paz de 1454.
