Wimille war der Sohn eines Motorsportjournalisten. 1930 kehrte er nach einem Militäreinsatz in Marokko nach Frankreich zurück und begann mit dem Automobilsport. Sein erstes Rennauto war ein Bugatti Type 51, mit dem er 1932 beim Grand Prix d’Oran in Algerien seinen ersten Erfolg feierte. Weitere Erfolge blieben ihm durch die Unzuverlässigkeit der Autos verwehrt, sodass er 1933 privat einen Alfa Romeo erwarb. Erfolge bei Bergrennen und Podiumsplätze bei Grands Prix verhalfen ihm von 1934 bis 1937 zu einem Platz im Bugatti-Werksteam.
Die große Zeit von Bugatti war in der zweiten Hälfte der 1930er-Jahre allerdings vorbei und die deutschen Silberpfeile dominierten das Geschehen, sodass sich keine großen Erfolge bei Grand-Prix-Rennen einstellten. Erfolgreicher war Wimille im Sportwagenbereich, wo er 1937 und 1939 die 24-Stunden-Rennen von Le Mans gewann. Einem kurzen Intermezzo 1938 bei Alfa Romeo folgte 1939 die Rückkehr zu Bugatti.
Im Krieg war Wimille als patriotischer Franzose in der Résistance aktiv. Mit seinen Rennfahrerkollegen William Grover-Williams und Robert Benoist gründete er eine Widerstandsgruppe, hatte aber mehr Glück als seine Freunde, die beide im Konzentrationslager umkamen.
1945 kehrte Jean-Pierre Wimille auf die Rennstrecken zurück und gewann gleich das erste Rennen nach dem Krieg, den Coupe des Prisonniers 1945. 1946 ging er zu Alfa Romeo und war in den Saisons 1947 und 1948 der wohl beste Fahrer.
Im Jahr 1949 reiste Wimille nach Argentinien, um bei kleineren Rennen zu starten, die dort traditionell zu Jahresbeginn stattfanden. Beim Training für den Palermo-Grand-Prix in Buenos Aires (benannt nach einem Park dort) mit einem Simca-Gordini geriet er bei seiner ersten schnellen Runde ins Schleudern und prallte gegen einen Baum. Ein paar Kinder waren der Strecke zu nahegekommen. Ein berittener Polizist wollte sie zurücktreiben. Dabei scheute das Pferd und warf Sand auf die Piste. Dadurch verloren Wimilles Reifen die Haftung. Kurz nach dem Unfall starb Wimille an seinen Kopfverletzungen.
Auf dem Concorso d’Eleganza Villa d’Este 2009 wurden vier Sondermodelle des Bugatti Veyron 16.4 zum 100-jährigen Firmenjubiläum Bugattis vorgestellt. Einer dieser Bugatti Veyron Edition Centenaire huldigte Jean-Pierre Wimille.
