Après la saison 1971-1972, passée avec l'équipe des Legionnaires de Brantford de l'AHMO, il se joint au Petes de Peterborough pour les trois saisons suivantes. En 1973-1974, il est le capitaine de l'équipe junior du Canada au championnat du monde à Léningrad (compétition non officielle) où il marque quatre buts et récolte une aide en cinq matchs. De 1972-1973 à 1974-1975, il marque 286 points dont 133 (45 buts et 88 aides) dans la seule saison 1974-1975. Cette marque est alors un record de la ligue junior majeur de l'Ontario, battu depuis. Cette même saison, le capitaine des Petes est élu comme joueur de l'année dans la ligue, reçoit le trophée Hanley remis au joueur le plus gentilhomme, est choisi dans la deuxième équipe d'étoiles et, durant cette saison, ne manque qu'un seul match, son dernier en carrière, à cause d'une commotion.
À Montréal, le joueur gaucher s'établit rapidement comme étant un attaquant défensif accompli en plus d'être un des meilleurs de la ligue sur les mises au jeu. Il forme avec Bob Gainey un duo en désavantage numérique. Les deux amis, qui se connaissent depuis l'époque des Petes de Peterbourough, forment également avec Réjean Houle, Murray Wilson ou Jim Roberts l'un des meilleurs trios offensifs-défensifs de la ligue.[réf. nécessaire]
Il remporte quatre coupes Stanley au cours de ses quatre premières saisons (1976, 1977, 1978 et 1979). Le numéro 21 du Canadien se distingue particulièrement lors de la saison 1981-1982, alors qu'il marque 20 buts pour la seule fois de sa carrière, et termine l'année avec un impressionnant différentiel de +34.
Le 9 septembre 1982, il est échangé en compagnie de Rod Langway, Craig Laughlin et Brian Engblom aux Capitals de Washington en retour de Ryan Walter et Rick Green. Il portera le numéro 25. Les anciens Canadiens élèvent le jeu de Washington au seuil de la compétitivité en améliorant surtout le jeu défensif de l'équipe. À la fin de la saison 1983-1984, il reçoit le trophée Frank-J.-Selke remis au meilleur attaquant défensif de la ligue.
Le 6 décembre 1985, les Capitals l'échangent aux Whalers de Hartford pour un joueur plus axé sur l'offensive : Jorgen Petterson.
Il joue alors près de deux saisons entières à Hartford, où il bat le record de 914 matchs consécutifs de Garry Unger contre le Canadien de Montréal le 26 décembre 1986. Ce record est l'une des raisons pour lesquelles on lui remet le trophée Bill-Masterton remis au joueur de la LNH ayant montré le plus de persévérance et le plus d'esprit d'équipe.
Le 11 octobre 1987, l'entraîneur-chef des Whalers, Jack Evans, raye Jarvis de l'alignement avant un match contre les Bruins à Boston, mettant ainsi fin à la séquence record. Le lendemain, Jarvis est envoyé dans les mineures, chez les Whalers de Binghamton de la Ligue américaine de hockey. Il ne revient plus dans la ligue nationale comme joueur.
Jarvis finit sa carrière dans la Ligue nationale avec un différentiel de +121.
Carrière d'entraîneur
Lors de ses 24 premiers matchs avec sa nouvelle formation, Jarvis cumule les postes de joueur et d'assistant-entraîneur. Le 7 février 1988, il prend officiellement sa retraite en tant que joueur professionnel pour remplacer l'entraîneur-chef pour le restant de la saison.
Entre les saisons 1987-1988 et 1988-1989, il obtient le poste d'assistant à l'entraîneur-chef des North Stars du Minnesota, Pierre Pagé. Deux saisons plus tard, Bob Gainey est nommé directeur-général et entraîneur-chef de l'équipe ; ensemble, ils se rendent à la finale de la coupe Stanley en 1991, contre les Penguins de Pittsburgh. Il suit l'équipe lors du déménagement de 1993 à Dallas.
Avec Doug Jarvis comme entraîneur-adjoint, les Stars de Dallas gagnent le Trophée des présidents, remis à l'équipe ayant fini en tête du classement général, à deux reprises (1998-1999), gagnent cinq championnats de division consécutifs (de 1996 à 2001), la coupe Stanley en 1999 contre les Sabres de Buffalo (sa cinquième en carrière et sa première en tant qu'entraîneur) et atteignent une autre fois la finale en 2000 contre les Devils du New Jersey. Il restera avec l'équipe pendant 14 saisons consécutives : il s'agit d'un record de la ligue pour un assistant-entraîneur.
Le 2 octobre 2002, il est nommé entraîneur-adjoint d'Équipe Canada, poste qu'il occupera jusqu'au 31 juillet 2003, jour où Bob Gainey, directeur-général du Canadien de Montréal, le nomme entraîneur-chef des Bulldogs de Hamilton, leur club-école. Il reste à ce poste jusqu'au remplacement de Michel Therrien par Claude Julien à la barre des Canadiens : il est alors nommé entraîneur-adjoint. Le 14 janvier 2006, Gainey remplace Julien pour ensuite donner le titre à Guy Carbonneau. Jarvis est alors promu entraîneur associé de l'équipe. Le 23 juin 2009, il quitte son poste d'entraîneur associé.
Honneur personnel
Sa ville natale de Brantford, en 1997, l'intronise sur la voie des célébrités (Walk of Fame).
Parenté dans le sport
Il est cousin avec le joueur de hockey professionnel, Wes Jarvis.