Rođen 1950. u Gainesvilleu na Floridi, Petty je imao grubo djetinjstvo, ali stisak ruke Elvisa u dobi od 17 godina izazvao je zanimanje za rock glazbu. David Rolland iz Broward-a Palm Beach New Times u 2014. krenuo je u obilazak mjesta važnih za Pettyja, uključujući njegovu kuću iz djetinjstva:
Pettyjev prvi bend, Mudcrutch, živio je na farmi u Gainesvilleu koja je bila „prljavština jeftina“ i „daleko od bilo kakvih susjeda koji bi se mogli žaliti na buku“, Gainesville Sun napisao je 2008. godine.
Red Slater, prijatelj benda koji je živio na farmi nekoliko godina, rekao je za Sun:
Bend se preselio u Kaliforniju 1974. godine kako bi ga učinio velikim, ali bend se raspao, a nekoliko bivših članova okupilo se zajedno Tom Petty i Heartbreakers, a ostatak je, kako kažu, povijest (iako se Mudcrutch ponovno ujedinio 2007. i objavio dva albuma).
Petty's Encino, Kalifornija, dom ima dosta povijesti. Godine 1987. - godinu dana prije nego što su putujuća Wilburys (super grupa Petty formirana s Georgeom Harrisonom, Bob Dylanom, Royem Orbisonom i Jeffom Lynneom) objavila svoj debi -
arsonist je zapalio drvene stepenice na imanju, a gotovo sve osim studija za snimanje u podrumu se izgubilo. Petty i obitelj obnovili su mjesto i prema Realtor.com:I dolazimo do povlačenja Petty's Sherwood Lake. Bilo je na prodaju u svibnju, i je još uvijek na tržištu za 5.895 milijuna dolara. Nazvano Casa Della Madonna, mjesto je sagrađeno 1931. godine i osjeća se više kao jezero Como nego Kalifornija. Posjedovanje površine 5.300 četvornih metara nalazi se na gotovo hektaru s privatnim pristaništem. U dnevnoj sobi nalaze se zidovi od lokalnog poljskog kamena, a dodatak iz 2004. godine dodao je mirni majstorski apartman s dubokom kamenom kadom i balkonom s kaminom.