Los orígenes de la población son inciertos, pero ante la existencia de la vía romana que lleva de Vilartolí a Espolla, de la que, es de suponer, salía una ruta que llevaba al cuello de Banyuls, siendo este camino una conexión directa con el paso de la Jonquera, parece que la región e incluso la ciudad disponían de asentamientos romanos estables.
A nivel arqueológico, cerca de Vilartolí en el lugar llamado el Olivar del Mut, se encontraron piezas cerámicas de época imperial con cierto primitivismo fruto de la influencia indígena. Estas piezas son prueba de los vestigios de un poblado romano.
La población de Sant Climent nace como una plaza fuerte amurallada por su carácter defensivo en el límite entre las tierras de influencia musulmana con las de influencia cristiana; la fundación de los pueblos de la cordillera se atribuye al monasterio de Sant Quirze de Colera, aunque, de hecho, estos dominios pertenecían a Sant Pere de Rodes, el monasterio más antiguo e importante de la zona, que en delimitó la propiedad mediante diezmos y diferentes epístolas de propiedad.
En el Archivo Ducal de los Medinacelli, se encuentra un documento del año 998, uno de los primeros en que se hace referencia a la población.