La presenza di una comunità cristiana a Formia è non precedente alla persecuzione di Diocleziano, avvenuta tra il 303 e il 313. Intorno alla sepoltura di sant’Erasmo, protovescovo formiano martirizzato tra il III e il IV secolo, sorse nel VI secolo un luogo di culto, citato in una lettera di papa Gregorio Magno al vescovo Bacauda del 590. Secondo i documenti del sinodo diocesano di Gaeta del 1799, celebrato essendo vescovo Carlo Pergamo, il vescovo di Formia Probo, diretto successore di Erasmo, avrebbe lui stesso posto le spoglie mortali del suo predecessore in una chiesa preesistente, situata nell’area occidentale della città, non lontana dal teatro.

La monumentalizzazione del sito avvenne probabilmente in epoca carolingia, tra l’VIII secolo e la prima metà di quello successivo, con la costruzione di una grande chiesa con cripta semianulare. Nella seconda metà del IX secolo, a causa delle frequenti incursioni saracene, la sede vescovile venne trasferita a Gaeta, e con essa anche le reliquie di sant’Erasmo, che trovarono collocazione presso la chiesa di Santa Maria del Parco; la cattedrale formiana venne degradata al rango di semplice chiesa.

Alla chiesa venne annesso un monastero benedettino maschile citato per la prima volta nel 919; dapprima indipendente, successivamente fu acquisito dall’abbazia di Montecassino all’epoca dell’abate Desiderio, tra il 1058 e il 1066; in questo periodo la chiesa fu ricostruita in forme gotiche. Con la conversione dell’abbazia madre in commenda alla fine del XV secolo, nel 1491 la chiesa e il cenobio di Sant’Erasmo vennero ceduti alla Congregazione olivetana, i cui monaci vi rimasero fino alla soppressione degli ordini religiosi del 1806. Da allora la parrocchia, eretta nel 1599, fu retta dal clero diocesano.

La chiesa e il monastero vennero in gran parte distrutti nel corso del saccheggio turco del 1532; vennero ripristinati con un radicale restauro in forme rinascimentali tra il 1538 e il 1560.[10] Nel XIX secolo la chiesa fu oggetto di una serie di interventi; uno di notevole entità venne avviato nel 1855, con il rifacimento del tetto; in seguito ai bombardamenti piemontesi del 4 e 5 novembre 1860 (che danneggiarono notevolmente la chiesa e l’attiguo quartiere di Castellone) la chiesa venne nuovamente restaurata, per poi essere successivamente abbellita con nuovi altari e suppellettili.

Tra il 1970 e il 1976 venne scavata al di sotto del pavimento della chiesa un’ampia area archeologica, comprendente resti di varia natura: una necropoli romana del I-IV secolo, la tomba martoriale del IV secolo, la primitiva cattedrale del V secolo, la cripta semianulare carolingia e, in locali attigui, le botteghe benedettine dell’XI secolo, le strutture olivetane del XVI secolo e le sepolture a camera del XVIII secolo.

La chiesa è esternamente preceduta da un ampio sagrato, perpendicolare alla strada a rispetto ad essa posto ad una quota inferiore, introdotto da una scalinata. Alla destra della chiesa, sorge la cinquecentesca cappella di San Probo, a navata unica senza abside. La facciata della chiesa di Sant’Erasmo è a salienti ed è preceduta da un portico; questo si compone di tre campate e si apre sull’esterno con tre arcate a tutto sesto, poggianti su un pilastri all’interno dei quali sono visibili le antiche colonne marmoree in essi inglobate con restauri rinascimentali. La parte superiore del prospetto presenta un ampio finestrone rettangolare, e un coronamento costituito da un timpano triangolare.

All’interno, la chiesa ha una struttura a tre navate di cinque campate ciascuna, coperte con volta a crociera; gli ambienti sono divisi da due file di pilastri gotici quadrangolari in blocchi lapidei, cui nella navata maggiore sono addossati delle semicolonne, anch’esse medioevali. Quest’ultimo ambiente è illuminato da monofore ad arco poste nella parte superiore delle pareti laterali. Lungo le navate minori, vi sono alcuni altari, tra i quali quello dedicato al santo dedicatario (in fondo alla navata destra), il quale è raffigurato in una statua policroma processionale del XVIII secolo, situata in apposita nicchia all’interno dell’ancona. La navata maggiore termina con l’abside a pianta rettangolare, anch’essa coperta con volta a crociera e adornata con affreschi che ne sottolineano l’architettura; l’altare maggiore barocco, in marmi policromi, è posto al di sotto dell’arco absidale.

A ridosso della parete di fondo dell’abside, rialzato su di una pedana, si trova l’organo a canne, costruito dall’organaro inglese Thomas Pendlebury nel 1912 per la chiesa metodista di Richmond, nel North Yorkshire, acquistato dalla chiesa formiana nel 1988; tra l’anno di trasferimento e quello successivo, ha subito una serie di importanti modifiche ad opera dell’organaro Maurizio Panaccione, il quale ha rimosso le canne del registro del pedale, la cassa espressiva e ha convertito l’originaria trasmissione pneumatico-tubolare in elettromagnetica. Lo strumento dispone attualmente di 14 registri, con materiale fonico dei secoli XVIII e XIX, su due manuali (a questi registri si aggiunge quello del pedale, senza canne e quindi non funzionante). L’organo è racchiuso all’interno di una cassa di contenzione neoclassica in legno scuro, e la sua consolle è a finestra, con i registri e le unioni azionati da pomelli ad estrazione posti su più file ai lati delle tastiere.