J. J. Pickle besuchte die öffentlichen Schulen seiner Heimat und studierte danach bis 1938 an der University of Texas. Zwischen 1938 und 1941 war er Direktor bei der National Youth Administration. Danach diente er während des Zweiten Weltkrieges in der US Navy. Anschließend arbeitete er in der Rundfunkbranche. Gleichzeitig begann er als Mitglied der Demokratischen Partei eine politische Laufbahn. Zwischen 1957 und 1960 gehörte er dem Staatsvorstand der Demokraten an. Von 1961 bis 1963 saß er in der Beschäftigungskommission des Staates Texas.
Nach dem Rücktritt des Abgeordneten Homer Thornberry wurde Pickle bei der fälligen Nachwahl für den zehnten Sitz von Texas als dessen Nachfolger in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 21. Dezember 1963 sein neues Mandat antrat. Nach 15 Wiederwahlen konnte er bis zum 3. Januar 1995 im Kongress verbleiben. In diese Zeit fielen unter anderem das Ende der Bürgerrechtsbewegung, der Vietnamkrieg und die Watergate-Affäre. Im Jahr 1994 verzichtete er auf eine erneute Kandidatur. Er starb am 18. Juni 2005 in Austin.
