Por el Tratado de Almizra, Callosa d´en Sarriá pasa a formar parte del Reino de Valencia, conquistada por el rey D.Jaime I, rey de Aragón que, según la tradición, donó a este pueblo una imagen de la Virgen que fue llamada del Remedio. Por el año 1290 era señor de Callosa Bernat de Sarriá, quien erigió una iglesia en cuyo altar mayor se puso aquella imagen. Más tarde, en el siglo XVI, hubo un ataque corsario feroz, entrando los berberiscos en la población y apoderándose de la imagen, la pisotearon y arrastraron por los campos realizando con ella toda suerte de ultrajes. Viendo los cristianos el salvaje atropello corrieron a rescatar la imagen. La lucha con los moriscos fue reñida y en ella pereció el caudillo de los cristianos, pero la Virgen fue recuperada y depositada en la casa de la viuda de dicho capitán llamado Briones.
En esta casa estuvo la Virgen durante 137 años hasta que, en 1721, llegó a Callosa Fray Pablo de Valencia, para fundar un convento de Capuchinos, que vino a levantarse a las puertas de la población y en el mismo sitio donde se encontró la imagen profanada de Nuestra Señora del Remedio. A fuerza de ruegos, Fray Pablo consiguió que le entregaran la imagen de la Virgen para colocarla en el altar mayor de la iglesia del convento, la envió a Valencia para ser restaurada por mosén Pedro Bas, notable escultor quien, habiéndola reparado, la devolvió a Callosa con el título de "Virgen de las Injurias".
A causa de la exclaustración de 1835 se fueron los Capuchinos; el convento se dedicó a servicios civiles y el templo quedó como iglesia de la Patrona. En 1954 se restaura la iglesia y el camarín de la Patrona. La iglesia permanece hasta 1974, en el que, dado el estado de deterioro y no sin polémica, se optó por derribar el templo y levantar un edificio de pisos en cuyos bajos quedó la capilla de la patrona con su sacristía y unos salones parroquiales. Dicha capilla tiene una pequeña fachada, con las puertas de la iglesia del convento, cubiertas de chapa de latón dorado, claveteada con los anagramas de Jesús y María y el escudo de la orden franciscana; sobre la puerta un retablo cerámico representando a la Virgen de las Injurias. La Virgen de las injurias fue declarada Patrona principal de la villa en 1855, a raíz de una epidemia de cólera. En agosto de 1936, junto con el templo, fue quemada su antigua imagen y en 1939 el escultor valenciano José Ponsoda realizó la talla de la actual que ese mismo año fue nombrada Alcaldesa Honoraria Perpetua de Callosa .
