Cuenta la tradición que, encontrándose un soldado nacido en Ruzafa en Tierra Santa, fue hecho prisionero por los musulmanes pero logró escapar y refugiarse en el Monte de los Olivos de Jerusalén. Mientras estaba escondido, se le apareció la Virgen encima de un olivo pronosticándole que pronto regresaría a casa. En el lugar de la aparición dejó un icono con su imagen. El soldado, de nombre Pedro Aleixandre, se durmió con la imagen en su regazo, pero fue despertado por una algarabía. Pensando que los musulmanes se acercaban para prenderlo, pronto se dio cuenta que en realidad se encontraba en su lugar de nacimiento, en la huerta de Ruzafa, ya que de manera inexplicable y milagrosa había vuelto a su tierra tal y como le pronosticara la Virgen. Las autoridades decidieron que la imagen que traía consigo quedara custodiada en la Iglesia de San Valero pero, hasta por tres veces la imagen volvió al lugar original de su regreso, señal inequívoca de que quería permanecer en ese lugar. Desde entonces ese entorno pasaría a llamarse Monteolivete en recuerdo del Monte de los Olivos. En el lugar junto al olivo de Tierra Santa se construyó una ermita donde quedó depositado el icono de la Virgen. En esta es donde sacerdotes de origen napolitano daban culto al icono que aún se conserva, que data posiblemente del siglo XIV y es de procedencia sienesa. Es uno de los mejores conservados en Valencia, aunque está muy restaurado. Los orígenes por tanto más antiguos se remontan al siglo XIV con la construcción de la ermita dedicada a la veneración de la Virgen. No obstante, la actual configuración del templo procede de un edificio de nueva planta realizado entre los años 1767 y 1771 con azulejo en la entrada. En el año 1826 se instalaron en la ermita los monjes del Convento de San Vicente de Paul y fueron desamortizados en el año 1835. Su edificio anexo que también ocupaban es hoy seded del Museo Fallero. En el año 1942 es declarada parroquia, teniendo por ello una capilla dedicada a San Vicente de Paul, y contamos la historia de sus Gozos.
