James Covington besuchte die öffentlichen Schulen seiner Heimat und danach die Maryland Military Academy in Oxford. Anschließend studierte er an der University of Pennsylvania in Philadelphia Geschichte, Literatur und Wirtschaftslehre. Nach einem Jurastudium an derselben Universität und seiner 1894 erfolgten Zulassung als Rechtsanwalt begann er in seiner Heimatstadt Easton in diesem Beruf zu arbeiten. Zwischen 1903 und 1908 war er Staatsanwalt im Talbot County. Gleichzeitig schlug er als Mitglied der Demokratischen Partei eine politische Laufbahn ein. Im Jahr 1901 kandidierte er erfolglos für den Senat von Maryland.
Bei den Kongresswahlen des Jahres 1908 wurde Covington im ersten Wahlbezirk von Maryland in das US-Repräsentantenhaus in Washington gewählt, wo er am 4. März 1909 die Nachfolge von William Humphreys Jackson antrat. Nach zwei Wiederwahlen konnte er bis zu seinem Rücktritt am 30. September 1914 im Kongress verbleiben. In dieser Zeit wurden der 16. und der 17. Verfassungszusatz ratifiziert.
Covingtons Rücktritt erfolgte, nachdem er zum Obersten Richter im Bundesbezirk District of Columbia ernannt worden war. Dieses Amt bekleidete er als Nachfolger von Harry M. Clabaugh zwischen dem 1. Oktober 1914 und dem 1. Juni 1918. Danach praktizierte er in der Bundeshauptstadt als privater Rechtsanwalt. Zwischen 1914 und 1919 hielt er auch juristische Vorlesungen an der Georgetown University. Im Jahr 1918 wurde er Mitglied des Eisenbahnausschusses der Bundesregierung. James Covington starb am 4. Februar 1942 in Washington und wurde in Easton beigesetzt.
