Phil Walters begann seine Karriere als Pilot von Midget-Cars in den 1930er-Jahren. Er gewann gleich sein erstes Rennen und feierte vor den Kriegsjahren eine Vielzahl an Siegen mit den Fahrzeugen dieser Rennformel.
Im Zweiten Weltkrieg diente er bei der US-amerikanischen Luftwaffe und flog Lastensegler und Douglas DC-3/C-47-Transportflugzeuge. Bei der Rückeroberung der Niederlande wurde er abgeschossen und geriet in deutsche Kriegsgefangenschaft.
Nach dem Krieg baute er mit seinem Partner Bill Frick Rennfahrzeuge, indem er Cadillacs zu Renntourenwagen umbaute. Bei einer Rennveranstaltung in Watkins Glen 1949 lernte er Briggs Cunningham kennen, der ebenfalls als Konstrukteur und Rennfahrer aktiv war und Walters zu einem Start beim 24-Stunden-Rennen von Le Mans animierte. Mit dem futuristischen Cunningham Le Monstre erreichten Walters und Cunningham 1950 den elften Rang in der Gesamtwertung.
Fünf Jahre nach seinem ersten Antreten kam Walters in Le Mans als einer der ersten Fahrer zum Unfallort der Le-Mans-Katastrophe bei Start und Ziel. Als auch Walters das ganze Ausmaß des Unfalls erfasst hatte, trat er sofort vom Rennsport zurück.
Nach seiner Rennkarriere leitete er viele Jahre eine Audi-Verkaufsvertretung in Hicksville und zog mit seiner Frau Sheila in den 1990er-Jahren nach Florida, um dort seinen Ruhestand zu genießen. Walters war wie sein Freund Cunningham ein großartiger Segler und starb im Februar 2000 im 83. Lebensjahr.