Ha frequentato la J.J. Pearce High School a Richardson (Texas), dove portò la sua squadra a vincere il campionato statale del 1983 Texas State Championship. Nell'estate del 1985 fu scelto per rappresentare gli Stati Uniti ai Giochi Maccabei del 1985.[1]
Alla fine della stagione del 1989 fu scelto di nuovo per rappresentare gli Stati Uniti ai Giochi Maccabei.[1]
Inizi da professionista
Dopo aver lasciato il college giocò per i Maryland Bays della A-League nel 1991. Il 13 febbraio 1991, i Dallas Sidekicks della Major Indoor Soccer League lo scelsero come seconda scelta al draft. In trenta partite della stagione 1991-1992 segnò sette gol. Nel 1992, lasciò i Sidekicks per giocare a tempo pieno per la Nazionale americana.
Dopo essere stato escluso dalla squadra americana per la Coppa del mondo del 1994 si trasferì in Germania dove giocò nel SV Wehen la stagione 1994-95.
Major League Soccer
Ritornato dalla Germania nel 1995, diventò assistente allenatore di Bruce Arena alla University of Virginia.
Nel 1996, per creare la lega, la MLS scelse vari giocatori conosciuti per ogni squadra. Come parte del processo, Agoos fu inserito nei D.C. United dove ritrovò Bruce Arena, primo allenatore della squadra. Quell'anno vinse la prima MLS Championship e la U.S. Open Cup e l'anno successivo un altro campionato MLS. Nel 1998, i DC United batterono il Vasco da Gama vincendo la Interamerican Cup ed il terzo campionato MLS. Dal 2001 al 2004 giocò con i San Jose Earthquakes, vincendo il quarto ed il quinto campionato MLS.
Fu premiato come "Difensore dell'Anno della MLS" nel 2001 e guadagnò un posto nel MLS Best XI tre volte (1997, 1999, and 2001). Nel 2005, Agoos fu scelto per l'All-Time Best XI nel decimo anniversario della lega.
Dopo la stagione 2004 i MetroStars lo presero in cambio di una quarta scelta al draft. In dieci anni con la MLS, Agoos segnò 11 gol nella stagione regolare. Si ritirò l'8 dicembre del 2005.
Nazionale
Debuttò in Nazionale il 13 gennaio 1988 contro il Guatemala. Nella coppa del mondo del 2002 Jeff fu titolare nei primi tre incontri (segnò un autogol ma segnò anche nella vittoria contro il Portogallo) finché ebbe un infortunio contro la Polonia saltando il resto del torneo.
Nel 1992 fu anche membro della squadra USA di calcio a 5 che vinse una medaglia d'argento ad Hong Kong. Giocò 10 partite e segnò 2 gol con tale Nazionale.
Dopo il ritiro
Il 28 settembre 2006 fu scelto dai New York Red Bulls direttore tecnico, lavorando di nuovo con Bruce Arena.