Nato e cresciuto nel Bronx, John iniziò a suonare la batteria ascoltando le performance di Ringo Starr, noto batterista dei Beatles. Egli acquistò questo strumento da un suo vicino di casa che l'aveva messa in vendita.
Agli inizi degli anni ottanta, Tempesta ottenne un posto di lavoro negli Anthrax, facendo il tecnico della batteria di Charlie Benante. John imparò molto dal drummer degli Anthrax, prendendo tanti spunti dai suoi groove con la doppia cassa e avvicinandosi sempre di più al metal più incisivo e più ginnico.
Terminato il suo lavoro come roadie nel 1989, John intraprende la sua attività da batterista professionista. Inizia con gli Exodus, nota band Thrash metal con cui incise tre album. Ha lavorato anche con i White Zombie e in seguito, dopo lo scioglimento del gruppo, con il leader Rob Zombie.
Nell'ottobre 2005, John ha formato, assieme al chitarrista e fratello Mike Tempesta, gli Scum of the Earth, un gruppo che propone sonorità metal miscelate con quelle pop, dove si avvertono richiami alla musica di Rob Zombie.
Da non dimenticare, inoltre, il suo contributo con i Testament, con cui ha registrato Low nel 1994, il disco della rinascita dopo che il combo deluse molti fans con il precedente The Ritual. Dopo questo disco, il batterista lasciò la band. Vi farà ritorno in diverse occasioni come turnista dal vivo e per registrare il disco First Strike Still Deadly, che contiene 10 classici dei primi 2 album (oltre al brano Reign of Terror presente nel primo demo e incisa nell'EP Return to the Apocalyptic City) del gruppo reincisi nel 2001.
Dal 2006 è il batterista della storica rock band The Cult.