Esisteva già in epoca medioevale, con il nome di Portiolo di Lerici (con il probabile significato di "Porto dell'olio"), ed era un luogo di pescatori e marinai, dediti anche ai traffici di vino e di olio.
Secondo la leggenda, nel medioevo, sbarcò nel paese un certo Terenzio, un ricco pellegrino che veniva dalla lontana scozia. Ospitato, donò al paese beni materiali e spirituali, ed in seguito fu nominato vescovo di Luni. Un giorno riprese il cammino per proseguire il suo pellegrinaggio verso Roma per visitare le tombe dei SS. Pietro e Paolo, ma fu assalito ed ucciso dai predoni ed il suo corpo venne poi sepolto a San Terenzo ai Monti in provincia di Massa-Carrara.
Gli abitanti di Portiolo decisero quindi di cambiare il nome del loro paese in onore del pellegrino che tanto aveva fatto per loro.
Diversi sono i toponimi che ricordano nel paese il tempo delle crociate, come la "tomba del crociato" e lo "scoglio di Orlando", che secondo la leggenda, fu spezzato in due dalla furia del cavaliere.

Il castello di San Terenzo si erge su uno sperone roccioso all'estremità occidentale della baia che chiude lo specchio d'acqua antistante il paese. Come altri castelli della zona è stato oggetto di successivi interventi in epoche diverse che, tuttavia, nulla hanno tolto all'armonia dell'insieme. Attualmente si presenta come una struttura a pianta pentagonale, con tre torrette circolari agli angoli che guardano il paese, robuste cortine che racchiudono una seconda cinta interna, l'ingresso e un torrione a base quadrangolare, con merli piatti e beccatelli a sezione quadrata. Ci si arriva da piazza Brusacà, percorrendo via Meneghetti e poi la salita che porta all'entrata del fortilizio. Il castello di San Terenzo ha la sua origine attorno al 1400: si tramanda che sia stato costruito come bastione di difesa contro le incursioni dei pirati saraceni, e per questo la grotta che si apre nel promontorio roccioso sul quale sorge il castello è detta "Tana dei Turchi". Inizialmente era solo un’unica torre quadrata, merlata, alta una decina di metri, ma in tempi successivi fu aggiunta una seconda cinta di mura dal profilo di un pentagono irregolare e dotata, su tre angoli, di altrettante vedette a pianta circolare. Verso terra un enorme barbacane rinforzava il muro di fronte al fossato ; ora il fossato è stato riempito, ma una feritoia del baluardo nord ne denuncia l’antica presenza. Il castello, nel corso dei secoli, dopo aver assolto alla funzione di difesa del borgo dagli attacchi provenienti dal mare, in epoca più recente divenne complemento difensivo della più imponente fortezza di Lerici, per il controllo di un buon tratto dell'ampia baia. Fra i primi castellani vi fu Giovanni da Mongiardino, già castellano di Lerici (1401), al comando di otto balestrieri. Venne in seguito sostituito dal santerenzino Giacomo Rossi, che combatté contro i pisani, ricevendo l’elogio di Simon Boccanegra nel periodo in cui il castello apparteneva al sistema difensivo apprestato dalla Repubblica di Genova nel golfo della Spezia. Nel castello si sta realizzando un Museo dedicato ai poeti inglesi Percy Bysshe Shelley e Mary Shelley.

La felice posizione di San Terenzo, il clima ideale e la bellezza del luogo, ne fecero il luogo ideale per poeti ed intellettuali dell'epoca.
Abitarono a S. Terenzo il famosissimo Percy Bysshe Shelley e la moglie Marry Shelley, nella villa Magni; il drammaturgo Sem Benelli al quale si deve l'appellativo di "Golfo dei Poeti" attribuito alla baia che comprende Lerici e San Terenzo, nella torretta di Villa Mandragola, il famosissimo antropologo Paolo Mantegazza a villa Serenella.
Molti altri poeti hanno qui soggiornato: lo scrittore americano Henry James, lord George Byron, il pittore e scultore simbolista svizzero Arnold Böcklin, D.H. Lawrence, Virginia Woolf, Gabriele D'Annunzio.