Ab 1993 ruderte Foster meist im britischen Vierer ohne Steuermann. Nach einem fünften Platz bei den Ruder-Weltmeisterschaften 1993 gewann er 1994 Bronze und 1995 Silber. Bei den Olympischen Spielen 1996 folgte die Bronzemedaille. Nach den Olympischen Spielen 1996 schieden die Olympiasieger von 1992 im Zweier mit Steuermann, die Brüder Greg und Jonathan Searle sowie Robert Obholzer aus dem Vierer aus. Dafür kamen die Olympiasieger von 1992 und 1996 im Zweier ohne Steuermann, Matthew Pinsent und Steven Redgrave sowie James Cracknell ins Boot. Dieser Vierer gewann 1997 und 1998 jeweils den Weltmeistertitel sowie alle Weltcupregatten, an denen das Boot teilnahm. 1999 rückte Ed Coode für Foster in den Vierer, während Foster bei den Ruder-Weltmeisterschaften 1999 Silber mit dem Achter gewann. 2000 kehrte Foster in den Vierer zurück. Der Erfolgsvierer der Jahre 1997 und 1998 gewann die ersten zwei Weltcupregatten, belegte aber beim Weltcup-Finale in Luzern nur den vierten Platz. Bei den Olympischen Spielen in Sydney war die Form wieder da und der britische Vierer gewann Gold.
Als Student des St Cross College der University of Oxford nahm er 1997 am Boat Race teil. 2001 versuchte er sich im Weltcup im Einer. Nachdem er es in dieser Bootsklasse im Weltcup nicht ins A-Finale geschafft hatte, beendete er seine Karriere.