John McFall besuchte die öffentlichen Schulen in Manteca und danach bis 1936 das Modesto Junior College. Nach einem anschließenden Jurastudium an der University of California in Berkeley und seiner 1941 erfolgten Zulassung als Rechtsanwalt begann er in Oakland in diesem Beruf zu arbeiten. Während des Zweiten Weltkrieges war er zwischen 1942 und 1946 Mitglied des Security Intelligence Corps, einer im Nachrichtendienst arbeitenden Einheit. Nach dem Krieg praktizierte McFall in Manteca als Anwalt. Gleichzeitig schlug er als Mitglied der Demokratischen Partei eine politische Laufbahn ein. Zwischen 1948 und 1951 war er Mitglied im Gemeinderat und Bürgermeister von Manteca; von 1951 bis 1956 gehörte er der California State Assembly an.
Bei den Kongresswahlen des Jahres 1956 wurde McFall im elften Wahlbezirk von Kalifornien in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 3. Januar 1957 die Nachfolge von J. Leroy Johnson antrat. Nach zehn Wiederwahlen konnte er bis zu seinem Rücktritt am 31. Dezember 1978 fast elf Legislaturperioden im Kongress absolvieren. Seit 1963 vertrat er dort den 15. und seit 1975 den 14. Distrikt seines Staates. In seine Zeit als Kongressabgeordneter fielen unter anderem der Vietnamkrieg, das Ende der Bürgerrechtsbewegung und die Watergate-Affäre. McFall wurde in den Koreagate-Skandal verwickelt und dafür zusammen mit anderen Abgeordneten von der Kongressleitung abgemahnt. Da er im Jahr 1978 nicht bestätigt wurde, trat er am 31. Dezember 1978, vier Tage vor dem offiziellen Ende der Legislaturperiode, von seinem Mandat zurück.
Nach dem Ende seiner Zeit im US-Repräsentantenhaus zog sich John McFall aus der Politik zurück. Er starb am 7. März 2006 in Alexandria; mit seiner Frau Eveleyn hatte er vier Kinder.
