Фостер народився в Бостоні, штат Массачусетс, син власників ресторанів Джилліан і Стівен Фостер. Він описав своїх батьків, як «вільних духом, в'єтнам-протестуючих хіпі». Він має молодшого брата Джона, який також є актором. Фостер був вихований у єврейській релігії свого батька. Його бабуся по батьківській лінії емігрувала з Росії, щоб уникнути погромів, у 1923 році.
Коли Фостеру було чотири роки, його родина переїхала до Ферфілда, штат Айова, після того, як їхній дім у Бостоні пограбували. Він практикував трансцендентальну медитацію з чотирьох років.