La ermita de San Sebastián de Xixona se trata de un edificio entre medianeras construido con muros de mampostería y cubierta a dos aguas. Tiene una nave única de pequeñas dimensiones con bonito interior. Sobre la puerta hay un retablo cerámico con la imagen de San Sebastián, un pequeño óculo y amplia cornisa. Corona la fachada una espadaña sobre pilares cuadrados y arco de medio punto que los une.
Según cuenta la tradición, en época de guerras entre moros y cristianos, en el siglo XIII, los habitantes de la Torre Blay decidieron esconder la imagen venerada de San Sebastián entre las paredes de la torre puesto que los musulmanes estaban acechando y a punto de conquistar el castillo de Xixona. Y allí permaneció escondida durante muchos años, hasta que los habitantes de la torre oyeron ruidos que venían de una pared y, tras picar en ella, descubrieron la imagen de San Sebastián, quien después de muchos años en silencio reclamaba atención.
También se cuenta que en el año 1600 Xixona estaba amenazada por la peste. En la casa donde se halla la ermita había una imagen de San Sebastián y el 24 de julio de ese año, cuando la propietaria de la casa estaba limpiando, se dio cuenta de que la imagen lloraba. Por esta razón, el pueblo de Xixona decidió sacar la imagen en procesión y se libró de la peste.
