La località si trova sul lato orientale del Promontorio dell'Argentario, a poco più di 40 km a sud-est di Grosseto, a circa 7 km a sud-ovest di Orbetello e circa 12 km da Porto Santo Stefano. In epoca medievale il centro fu un possedimento dell'Abbazia delle Tre Fontane di Roma, prima di passare agli Aldobrandeschi in epoca duecentesca. Dopo una breve parentesi sotto gli Orsini di Pitigliano, Porto Ercole entrò a far parte della Repubblica di Sienain epoca quattrocentesca. Nella seconda metà del Cinquecento il paese passò sotto lo Stato dei Presidi, divenendo il cardine dell'intero sistema difensivo della zona. Porto Ercole, seguendo le sorti dello Stato dei Presidi, entrò a far parte del Granducato di Toscana soltanto nella prima metà dell'Ottocento. Provenendo dalla strada principale, prima di raggiungere il paese si notano due fortificazioni che facevano parte del sistema difensivo del promontorio, ilcinquecentescoForte Filippo, la coeva Torre del Mulinaccio e il settecentescoForte Santa Caterina. Il nucleo storico è racchiuso all'interno della cinta muraria eretta dai Senesi in epoca rinascimentale sulle preesistenti strutture di epoca aldobrandesca; l'accesso è possibile attraverso una porta sormontata dalla Torre dell'Orologio. Il Palazzo dei Governanti si affaccia sulla suggestiva Piazzetta di Santa Barbara, dalla quale si domina il porto. Il fabbricato, edificato in epoca cinquecentesca, conserva la facciata in stile rinascimentale; in passato l'edificio ospitava i governanti spagnoli. All'estremità opposta della piazza, sul lato che guarda verso il mare, si trova il quattrocentesco Bastione di Santa Barbara. Attraverso una serie di vicoli si sale nella parte più antica del paese e si raggiunge la Chiesa di Sant'Erasmo, che custodisce al suo interno le eleganti tombe dei governanti spagnoli e, secondo alcune leggende popolari, ospiterebbe anche le spoglie del Caravaggio. Degno di nota è anche il Giardino Corsini, nel quale si trovano numerose rarità botaniche tropicali e subtropicali che sono riuscite ad acclimatarsi perfettamente grazie allo straordinario microclima della zona.Il paese è dominato dalla poderosa Rocca, raggiungibile attraverso una deviazione dalla strada panoramica: la fortificazione, costruita a più riprese tra il periodo medievale e l'epoca rinascimentale attorno a strutture preesistenti. Proseguendo lungo la strada panoramica, dopo aver superato la discesa per la Spiaggia delle Viste di fronte all'Isolotto, si raggiunge la zona dello Sbarcatello, dominata dall'imponente mole del cinquecentescoForte Stella, possente ma elegante fortificazione a sei punte, ciascuna delle quali svolgeva in passato funzioni di avvistamento nell'ambito del sistema difensivo dello Stato dei Presidi: dalle antiche postazioni di guardia è possibile scorgere ancora oggi un panorama mozzafiato. Su un'altura a nord-ovest del Forte Stella e a ovest dell'abitato di Porto Ercole sorge la quattrocentescaTorre dell'Acqua, mentre lungo la costa a ovest è distinguibile in posizione dominante la più lontana Torre Avvoltore.