La ciudad fue fundada como una reducción el 4 de febrero de 1627 por los jesuitas Pedro Romero y Nicolás Durán Mastrillo, quienes le dieron el nombre de "Nuestra Señora de los Santos Reyes Magos de Yapeyú o Nuestra Señora de los Tres Reyes de Yapeyú”, a inicios del siglo XVII la población había alcanzado ser de 10.000 habitantes en su mayoría con orígenes charrúas, bohanes, yaros y chandules (guaraníes de las islas) aunque predominaba la singular síntesis cultural hispanoguaranítica (por ejemplo, el idioma hablado más frecuentemente era el guaraní mezclado con el español e incluso el latín), fue en esos años que Yapeyú pasó a ser la sede del superior de los jesuitas en las Misiones. En 1651 a causa de los ataques de los bandeirantes, la reducción de Nuestra Señora de Asunción de La Cruz de Mbororé (actual La Cruz) se trasladó a Yapeyú y en 1657 se independizó nuevamente recibiendo los territorios entre el río rio Aguapey y el arroyo Mbocarí. Al este del río Uruguay se le entregaron tierras al norte del río Ibicuy, excepto la zona delimitada por los arroyos Parirití y Tembetarí.Por Real Cédula del 27 de febrero de 1767 el rey español Carlos III ordenó la expulsión de la orden jesuítica de todas las posesiones españolas la cual se llevó a cabo en 1768, casi inmediatamente la zona entró en decadencia económica, parcialmente revertida al llegar en 1774 el teniente gobernador español de la provincia subordinada (o militarizada) de las Misiones Juan de San Martin quien ratificó la capitalidad provincial en Yapeyú y extendió el gobierno de la misma hasta el arroyo Yeruá (en Entre Rios) y por el Este hasta los ríos Yacuy y Negro. Fundó las estancias de La Merced (hoy Monte Caseros), San Gregorio (cerca de Mocoretá), Concepción de Mandisoví (cerca de Federación) y Jesús del Yeruá (un poco al sur de Concordia). Afianzando la ruta comercial del río Uruguay que debía saltar los escollos del los saltos Chico y Grande, para lo cual reactivó el puerto de San Antonio del Salto Chico.
En 1778 en esta población nació el general argentino Jose de San Martin hijo de Juan de San Martín. A partir de 1801 y tras la invasión de las Misiones Orientales por parte de los bandeirantes, Yapeyú no sólo perdió sus distritos al este del río Uruguay sino que padeció las continuos ataques portugueses y luego brasileños, de este modo tras las derrotas sufridas por Andrés Guacurarí y José Gervasio Artigas la ciudad de Yapeyú quedó reducida a ruinas después de ser saqueada y arrasada por los lusobrasileños durante la invasión que se prolongó entre 1816 y 1821, la principal desvastación la llevaron a cabo las tropas al mando del coronel Chagas en 1817. Después de la segunda mitad del siglo XIX, al estabilizarse las fronteras internacionales la población resurgió muy lentamente teniendo hasta mediados del siglo XX el nombre oficial de San Martín.
