Bei den Kongresswahlen des Jahres 1962 wurde Long im zweiten Wahlbezirk von Maryland in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 3. Januar 1963 die Nachfolge von Daniel Brewster antrat. Nach zehn Wiederwahlen konnte er bis zum 3. Januar 1985 elf Legislaturperioden im Kongress absolvieren. In diese Zeit fielen unter anderem der Höhepunkt der Bürgerrechtsbewegung, der Vietnamkrieg und die Watergate-Affäre. In dieser Zeit wurden auch der 24., der 25. und der 26. Verfassungszusatz ratifiziert. Zeitweise gehörte Long dem Unterausschuss für Foreign Operations an, der den Haushalt für Auslandshilfen kontrollierte.
Im Jahr 1984 verlor Long gegen Helen Delich Bentley von der Republikanischen Partei. Nach dem Ende seiner Zeit im US-Repräsentantenhaus ist er politisch nicht mehr in Erscheinung getreten. Er starb am 18. September 1994 in Cockeysville.