Un pastor llamado Juan Martínez encontró el 24 de Agosto de 1644 en el barranco de La Xara, término de Torres Torres, una imagen de la Virgen. Una variante de este relato nos cuenta que el citado pastor tenía ovejas en el lugar mencionado y se le aparecieron unos lobos que atacaron el rebaño. En este trance el pastor se aclamó a la Virgen de los Afligidos y los lobos desaparecieron. Agradecidos el pastor y el pueblo, compraron una imagen con tal título en una tienda de imágenes religiosas y la trajeron al pueblo de Alfara de la Baronía. La ermita que le dedicaron se construyó entre los años 1690 y 1699 y se nos muestra como un edificio de planta rectangular de una sola nave y con capillas laterales entre los contrafuertes. En el interior, la nave está cubierta por bóvedas de cañón y con lunetos para iluminarla. La decoración es sencilla de estilo dórico. La imagen de Nuestra Señora de los Afligidos es una talla barroca de un metro de altura que descansa sobre un pedestal.
