La vieja alquería de Fadrell, en el término de Castellón, que ya habían habitado posiblemente los romanos y los árabes, es entregada por el Rey Jaime I en el año 1233 a la Orden de Calatrava y posteriormente a la de Santiago de Uclés, que readapta el edificio, construyendo una ermita dedicada a su patrón San Jaime y un cementerio aún subsistente. Aquella primitiva ermita, actualmente Salón Gótico fue abandonado como iglesia de la ermita de Fadrell en los últimos años del siglo XVI cuando se comienza la construcción de la actual. El recinto se encontraba fortificado y rodeado de murallas, protegido por una torre cuadrada todavía en pie junto al patio de la ermita, aunque bastante transformada.
A partir de 1696 se construye el pórtico y la nueva puerta de acceso desde el camino y se cambian las cubiertas de la iglesia. En el 1704 se reforma de nuevo el ermitorio, que quedará en su estado actual. Con posterioridad se encargan algunas pinturas y un retablo de madera para el altar mayor, en estilo rococó, también conservado en su lugar primitivo.En sus dependencias se instaló el Museo Municipal de Etnología, inaugurado en 1985 y que muestra una maqueta del Castellón medieval.
