La squadra, da quando è stata fondata nel 1899 nel distretto di Bornheim, ha sempre vissuto, salvo qualche raro periodo, sotto l'ombra del ben più blasonato Eintracht Francoforte. L'apice della squadra fu toccato nel 1925, quando perse la finale del campionato di calcio tedesco 1925 per 0-1 contro il Norimberga.
Dopo aver vinto il campionato organizzato dal VFSV (Verband Süddeutscher Fussball Vereine o Federazione delle società calcistiche della Germania meridionale) nel 1933, l'FSV andò a giocare nella Gauliga Südwest/Mainhessen, una delle sedici massime divisioni create dal Terzo Reich. Nei cinque anni seguenti la compagine terminò sempre a metà classifica, eccezion fatta per un secondo posto conquistato nel 1939. Il club giocò anche la finale della DFB-Tschammerpokal (l'odierna Coppa di Germania) nel 1938, venendo però battuto 1-3 dal Rapid Vienna. Nel 1941 la Gauliga Südwest venne divisa in due Gauligen: la Westmark e la Hessen-Nassau, con l'FSV che andò a giocare nella seconda. La squadra finì seconda nel 1943 alle spalle del Kickers Offenbach, e nel 1944 si fuse per un breve periodo con il SG Eintracht Frankfurt per poter giocare durante il tempo di guerra con il nome di KSG Frankfurt (dove la K sta per Kriegsspielgemeinschaft).
Dopo la fine della seconda guerra mondiale le autorità alleate sancirono la chiusura di tutte le associazioni, comprese quelle sportive. L'FSV fu ricostituito nel 1945 con il nome di SG Bornheim ed ha ripreso l'attuale denominazione alla fine di quell'anno; il club venne inserito nell'Oberliga Süd, a quel tempo una delle prime divisioni, e disputò campionati di media classifica; questo fino al 1962, anno in cui retrocesse.
Nel 1963 fu creata l'attuale massima serie, la Bundesliga, ma il Francoforte venne invece inserito in uno dei gironi che costituivano il secondo livello, la Regionalliga Süd. Disputò in questo campionato sette stagioni, prima di venir promosso per la prima volta nella neonata Zweite Bundesliga nel 1975; rimase in questo campionato, salvo una piccola parentesi, fino al 1983.
La squadra rimane al terzo livello ininterrottamente per undici anni, prima di tornare brevemente al secondo nel 1994. Gli anni duemila iniziano invece per il club in Oberliga Hessen, la quarta divisione. Alla fine della stagione 2006-07 il club conquistò la promozione in Regionalliga Süd, risalendo nella serie cadetta dopo tredici anni: dopo una prima parte di campionato con più ombre che luci, la squadra nerazzurra disputò un girone di ritorno a dir poco eccezionale, scalando la vetta della classifica proprio all'ultima giornata. Vinse così il titolo della Regionalliga Süd a scapito dell'Ingolstadt 04, anch'esso promosso in Zweite Bundesliga; da allora la squadra milita in questo campionato.
