Après sa carrière de joueur, il reste à l'AS Montferrand, il dirige d'abord le centre de formation puis il devient le directeur sportif de l'ASM Clermont Auvergne en 2004 et vice-président en 2008. En 2016, il quitte le poste de directeur sportif pour mener un nouveau projet de développement du club clermontois, dont l'objectif est d'anticiper la mutation de ce sport, avant de quitter finalement le club en 2021.
Il est titulaire d'un diplôme d’ingénieur de l'INSA Lyon et ingénieur chez Michelin.
Après sa carrière de joueur, il reste à l'AS Montferrand, il dirige d'abord le centre de formation puis il devient le directeur sportif de l'ASM Clermont Auvergne en 2004[1] et vice-président en 2008.
En , il fait partie de la cellule technique du XV de France, formée conjointement par les présidents de la FFR et de la LNR à la suite de l'échec de l'équipe de France à la Coupe du monde 2015, afin de présenter des propositions visant à améliorer sa compétitivité[7]. En , la cellule rend aux présidents Pierre Camou et Paul Goze un rapport où figurent quinze propositions[8],[9].
En 2016, après douze années à la tête du secteur sportif de l'ASM, en tant que manager général puis directeur sportif, Jean-Marc Lhermet quitte son poste, le secteur sportif étant totalement confié à l'entraîneur Franck Azéma[10]. Il reste toutefois au sein du club, ayant la responsabilité d'un projet de développement autour de la mutation du rugby à XV[11].
En 2019, il participe à un groupe de travail pour préparer le renouvellement du comité directeur de la Fédération française de rugby en . Celui-ci rassemble des dirigeants issues du monde amateur et d'anciens internationaux comme Serge Blanco, Jean-Claude Skrela ou Fabien Pelous. Le , ce groupe annonce que Florian Grill, président de la Ligue régionale Île-de-France de rugby, sera à la tête de la liste d'opposition qui se présentera face à la gouvernance actuelle[12]. Jean-Marc Lhermet est présent en 2e position sur la liste candidate[13]. Celle-ci réunit 48,53 % des voix à l'issue du scrutin le , et obtient 9 sièges. Jean-Marc Lhermet est ainsi élu au sein du comité directeur de la FFR[14]. Le , il quitte le comité directeur de la fédération avec tous les élus de l'opposition, après la démission du président Bernard Laporte et l'appel de la ministre des Sports à une démission de l'ensemble du comité directeur pour provoquer de nouvelles élections générales[15]. Lors de l'élection partielle de pour renouveler 12 membres, il ré-intègre le comité directeur avec 11 autres membres de la liste Ovale Ensemble, menée par Florian Grill, qui s'oppose à l'équipe en place[16].
En août 2021, l'ASM Clermont Auvergne annonce sa séparation avec Jean-Marc Lhermet après 34 années au sein du club[17].
Le , Jean-Marc Lhermet rejoint l'équipe de Claude Onesta au sein de la cellule haute performance de l'Agence nationale du sport[18]. Il quitte ce poste en août 2023, après son élection à la vice-présidence de la FFR.
En , Florian Grill est élu à la tête de la Fédération française de rugby et Jean-Marc Lhermet devient vice-président délégué au haut-niveau et à l'arbitrage lors du comité directeur du [19]. En 2024, il est de nouveau candidat lors du renouvellement du comité directeur de la FFR, toujours sur la liste menée par le président sortant Florian Grill[20]. La liste Ovale Ensemble l'emporte avec 67,22 % des voix et Jean-Marc Lhermet intègre le comité d'orientation politique, nouvel organe de direction de la FFR[21].
