En 1976, Nick Rahall se présente à la Chambre des représentants des États-Unis dans la 4e circonscription de Virginie-Occidentale dont le sortant Ken Hechler(en) se porte candidat au poste de gouverneur. Hechler perd cependant la primaire démocrate face à Jay Rockefeller et monte une campagne write-in face à Rahall[2],[3]. Rahall est élu représentant avec 45,6 % des suffrages, devant Hechler (36,6 %) et le républicain Steve Goodman (17,8 %)[3],[4].
De 1978 à 1986, il est réélu tous les deux ans avec plus de deux tiers des voix. En 1988, il bat la républicaine Marianne Brewster avec 61,3 % des suffrages[4] ; deux ans plus tard, il est réélu de peu face à la candidate avec 52 % des suffrages[4],[3]. En 1992, la Virginie-Occidentale perd une circonscription et Rahall est réélu dans le 3e district[3]. De 1992 à 2008, il est toujours reconduit par plus de 62 % des électeurs[4].
Durant les 110e et 111e congrès, il préside la commission sur les ressources naturelles de la Chambre[1]. Rahall est réélu avec 56 % des suffrages en 2010 face à Elliott Maynard, puis avec 54 % en 2012 face à Rick Snuffer[4].
Dans un district ayant voté à 66 % pour Mitt Romney en 2012, Rahall est une cible des républicains lors des élections de novembre 2014. Attaqué par de nombreuses publicités le liant à l'Obamacare et à la « guerre contre le charbon » prétendument menée par Barack Obama, ses opinions favorables chutent. Rahall se retrouve distancé dans les sondages par le républican Evan Jenkins[5]. Il est finalement battu par Jenkins, qui le devance de 10 points à 55 % des voix[6].
En , il rejoint le cabinet de lobbying Cassidy & Associates[7].
Vie privée
Marié à Melinda Rahall, il a trois enfants : Rebecca, Nick Joe III et Suzanne Nicole[3].