La tradición narra que en el año 1366 un labrador llamado Perot de Granyana araba con sus bueyes y levantó una piedra junto a las raíces de un almez (en valenciano lledoner), bajo el cual apareció la imagen de una Virgen. El nombre que le otorgaron fue el de lledó, que en valenciano significa "almeza", como fruto de ese árbol.
El papa Pío XI proclamó en 1922 a la imagen patrona de Castellón. Con este motivo la imagen es colocada en el pecho de una escultura de mayor tamaño, y comenzó a ser vestida con ropajes y mantos bordados. Durante el transcurso de la Guerra Civil los milicianos controlaron los accesos al templo, impidiendo que la población pudiera acercarse, y la corona con la que había sido investida en 1924 fue robada. Ante el peligro que corría la imagen, el alcalde de la ciudad propició que trasladaran la imagen al Museo de Bellas Artes. Posteriormente, fue enterrada bajo el campanario de la iglesia de San Vicente Ferrer donde permaneció hasta 1938, año en que fue colocada en el pecho de la imagen venerada en la arciprestal de Santa María ya que la escultura original del siglo XVI había sido destruida. Tras el hallazgo de la imagen se construyó una capilla en el mismo lugar, que fue ampliada posteriormente tras el auge de la devoción. El actual templo se comenzó a construir en el año 1724 y finalizaron las obras en el año 1766, constituyendo la mayor iglesia de ámbito rural de la Comunidad Valenciana. En 1983 el papa Juan Pablo II elevó el santuario a la categoría de Basílica menor.
