Tolfa er en by med røtter tilbake til middelalderen.
Borgen på klippen, som nå er en ruin, går tilbake til 800-tallet. Nedenfor og rundt den eksisterte det en borgby der vi fortsatt kan se deler av ringmuren, for en stor del bygd om til helt spesielle boliger. Nedenfor bymuren strekker renessansebyen seg fram til gamlebytorget og oppover mot Cappuccini. Her finnes det mange palazzi, aristokratiske byboliger bygd på 1500-tallet. Mange av de mektigste familiene i Italia hadde en bolig her.
Fra Gamlebytorget går også byens hovedgate via Roma med småbutikker, ikke minst verksteder og utsalg for byen håndverkere. Gata leder fram til piazza Vittorio Veneto, som er den nye hovedplassen i byen. Bak rådhuset er det en vakker park som egner seg til langsomme spaserturer.
En halvannentimes promenade i gamlebyen og opp til La Rocca anbefales. Der oppe har man dessuten et fantastisk rundskue.