La ermita dedicada a San Antonio, que más tarde pasó a estar dedicada a Santa Lucía, fue construida en Ibi sobre los restos del antiguo Castell Vermell, castillo árabe, y se sabe que en el S.XIII ya estaba construida. El edificio dedicado a la patrona quedó derruido tras el terremoto del 2 de Diciembre de 1620, cuyo epicentro tuvo lugar en Alcoy. Más recientemente, el 25 de Marzo de 1979, la ermita fue reinaugurada tras la restauración a la que fue sometida debido al mal estado en que se encontraba.