Il a commencé sa carrière d'entraîneur à la Jeppe High School for Boys, devenant rapidement l'entraîneur des écoles de la province. Plus tard il a participé à la préparation des Springboks pour la coupe du monde de rugby 1995. Sa réputation étant alors établie, il fut responsable de l'équipe d'Afrique du Sud des moins de 21 ans. Sous sa conduite, cette dernière remporta la coupe du monde des moins de 21 ans en 2002.
Compte tenu de son expérience et de ses résultats, il fut désigné en 2004 pour entraîner les Springboks. L'équipe d'Afrique du Sud venait d'être éliminée prématurément de la coupe du monde de rugby 2003, le désarroi était tel que Clyde Rathbone avait choisi de défendre les couleurs de l'Australie alors qu’il avait été capitaine de l'équipe d'Afrique du Sud des moins de 21 ans.
Sous la houlette de White, les Springboks ont refait surface en remportant à nouveau le Tri-nations en 2004, une victoire qui leur échappait depuis 1998. Les Springboks ont remonté alors à la 4e place du classement IRB, puis à la 2e en 2005 à la suite de victoires remportées contre les Wallabies et les All Blacks (seule défaite des Blacks en 2005).
Les résultats des Springboks sont moins brillants en 2006, notamment lors du Tri-nations 2006, Jake White ayant des difficultés à constituer un XV compétitif face aux Wallabies et aux All Blacks et devant pallier l'absence pour blessure de plusieurs titulaires.
Mais Jake White croit au potentiel de ce groupe et prépare sereinement la coupe du monde 2007. Pour ses adversaires, c'est de l'arrogance. La coupe du monde est réussie tant sur le plan du jeu que sur les résultats... Les Springboks sont invaincus pendant la compétition, ils possèdent le meilleur réalisateur de l'épreuve, Percy Montgomery, et le meilleur marqueur d'essais, Bryan Habana, qui a été désigné comme le meilleur joueur de rugby à XV de l'année par l'IRB. Après ce succès en coupe du monde 2007, Jake White démissionne et quitte effectivement son poste à la fin de la saison 2007.
Jake White à l'entraînement avec les Toyota Verblitz en 2017.
Il est approché par la Fédération anglaise pour remplacer Martin Johnson après la Coupe du monde de 2011, mais il décline l'offre. À partir de la saison 2012, il entraîne l'équipe de Super 15 de Canberra, les Brumbies. En , il est libéré à sa demande de ses deux ans de contrat restants avec les Brumbies[3],[4]. Lors de la saison 2014, il entraîne l'équipe de Super 15 de Durban, les Sharks.
Le , Jake White rejoint le staff de l'équipe nationale des Tonga en tant que conseiller technique auprès de l'entraîneur Mana Otai. Il s'agit d'une mission ponctuelle limitée à la tournée asiatique et européenne 2014 de l'équipe[5].
Le , il est nommé entraîneur du Montpellier Hérault rugby par le président Mohed Altrad en remplacement de Fabien Galthié[6]. Très ambitieux pour son nouveau club, il déclare : « Jouer à Montauban devant cinq personnes et un chien, ça ne m'intéresse pas »[7]. Il n'est pas conservé par le club en 2017 et cède sa place à Vern Cotter .
De 2017 à 2019, il entraîne les Toyota Verblitz au Japon. À deux reprises, il qualifie l'équipe en demi-finale mais s'incline lors de ce match décisif et du match pour la troisième place.
En 2020, il revient en Afrique du Sud pour devenir le directeur du rugby des Bulls, franchise du Super Rugby[8]. Il s'engage jusqu'en 2023 à ce poste et succède ainsi à Pote Human, démissionnaire en janvier[9].
.svg){kind=small}
