Nach einer akademischen Ausbildung besuchte John Pettit das Hamilton College in Clinton. Anschließend studierte er bis 1839 am Union College in Schenectady. Nach einem anschließenden Jurastudium und seiner im Jahr 1841 erfolgten Zulassung als Rechtsanwalt begann er in Wabash in diesem Beruf zu arbeiten. Zwischen 1850 und 1853 war er amerikanischer Konsul im brasilianischenMaranhão.
Politisch war Pettit zunächst Mitglied der kurzlebigen Opposition Party. Bei den Kongresswahlen des Jahres 1854 wurde er im elften Wahlbezirk von Indiana in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1855 die Nachfolge von Andrew J. Harlan antrat. Nach zwei Wiederwahlen konnte er bis zum 3. Januar 1861 drei Legislaturperioden im Kongress absolvieren. Diese waren von den Ereignissen im Vorfeld des Bürgerkrieges geprägt. Seit 1857 vertrat Pettit die Republikanische Partei, der er inzwischen beigetreten war. Zwischen 1855 und 1857 war er Vorsitzender des Ausschusses zur Kontrolle der Ausgaben des Postministeriums.
Im Jahr 1865 war John Pettit Mitglied und Präsident des Repräsentantenhauses von Indiana. Zwischen 1872 und 1880 fungierte er als Richter im 27. Gerichtsbezirk seines Staates. Er starb am 21. März 1881 in Wabash.
