Els orígens de la població són incerts, però davant l’existència de la via romana que porta de Vilartolí a Espolla, de la qual, cal suposar, sortia una ruta que portava al coll de Banyuls, essent aquest camí una connexió directa amb el pas de la Jonquera, sembla que la regió i fins i tot la vila disposaven d’assentaments romans estables.
A nivell arqueològic, a prop de Vilartolí en l’indret anomenat l’Olivar del Mut, es trobaren peces ceràmiques d’època imperial amb un cert primitivisme fruit de la influència indígena. Aquestes peces són prova dels vestigis d’un poblament romà.
La població de Sant Climent neix com una plaça forta emmurallada pel seu caràcter defensiu en el límit entre les terres d’influència musulmana amb les d’influència cristiana; la fundació dels pobles de la serralada s’atribueix al monestir de Sant Quirze de Colera, encara que, de fet, aquests dominis pertanyien a Sant Pere de Rodes, el monestir més antic i important de la zona, que en delimità la propietat mitjançant delmes i diferents epístoles de propietat.