A mediados del siglo XVI el templo parroquial de Vinaroz, a pesar de ser ancho y majestuoso, se veía completamente lleno de fieles por lo que algunos marineros se propusieron establecer en la villa un convento de religiosos agustinos dedicado al Patrono y protector de los navegantes, San Pedro González Telmo, conocido popularmente como San Telmo. El primitivo convento fue provisional y estaba situado en la actual plaza de S. Telmo, junto al mar. En 1599, se adquirió una casa y huerto para construir un buen edificio que había de servir para convento y además levantar una iglesia para el mismo. El 23 de Agosto de 1835, se decretó el cierre de todos los conventos de la diócesis de Tortosa y, en consecuencia, abandonaron los agustinos el que tenían en Vinaroz, continuando la iglesia abierta al culto y su convento se destinó a escuelas públicas, carnicería y pescadería.
San Telmo fue un sacerdote de Fromista que, tras ejercer como canónigo en Astorga, ingresó en la Orden de los Predicadores como monje y se distinguió por su locuaz retórica. Acompañó como capellán a Fernando III de Castilla. Se le honra como patrono de los marineros.
