John Caldwell besuchte die öffentlichen Schulen seiner Heimat und danach das Bethel College. Im Jahr 1850 zog er mit seinem Onkel nach Texas, wo er auf einer Farm arbeitete. Außerdem war er dort unter anderem auch als Landvermesser tätig. Nach einigen Jahren kehrte er nach Kentucky zurück. Nach einem Jurastudium und seiner Zulassung als Rechtsanwalt begann er in seinem neuen Beruf zu arbeiten. Während des Bürgerkrieges stieg Caldwell im Heer der Konföderation bis zum Oberst auf. Nach dem Krieg setzte er 1865 seine Anwaltstätigkeit in Russellville fort. Danach war er Bezirksrichter im Logan County.
Caldwell war Mitglied der Demokratischen Partei. Bei den Kongresswahlen des Jahres 1876 wurde er im dritten Wahlbezirk von Kentucky in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1877 die Nachfolge von Charles W. Milliken antrat. Nach zwei Wiederwahlen konnte er bis zum 3. März 1883 drei Legislaturperioden im Kongress absolvieren. Für die Wahlen des Jahres 1882 lehnte Caldwell eine erneute Kandidatur ab. In den folgenden Jahren war er Präsident der Logan County Bank. Er starb am 4. Juli 1903 in Russellville.
