Según la tradición , llegaron dos peregrinos desde Cataluña trayendo consigo una imagen de la Virgen que los habitantes quisieron que se quedara . Pero, en cambio, los peregrinos continuaron camino y, al llegar a San Mateo, la burra que llevaba la imagen se quedó parada y no pudieron moverla. Al dejarla libre, el animal regresó a la villa de La Jana y los peregrinos dejaron la imagen en la iglesia. En el año 1571 se celebraron unas fiestas en honor a la Virgen de los Angeles por haber librado a la villa de la peste y por ello la nombraron su patrona.
En 1763, acabadas las obras de la iglesia parroquial, se pensó ampliar la misma para hacer una capilla dedicada a Nuestra Señora de los Ángeles, con devoción en la población desde el siglo XVI, pero, por la dificultad del proyecto, se decidió trasladar la construcción de la capilla barroca al paraje donde, según la tradición, se paró la mula que llevaba la imagen. Pero esto no se haría hasta el 1767. En la Guerra civil su interior fue destruido y ya no tendría más uso litúrgico. Adjunto un antiguo grabado.
