L'Association sportive brestoise venne fondata il 5 agosto 1905 con il nome di Association Sportive Lambézelléenne, club a cui si uniranno alcuni piccoli club locali, come l'U.S.B., fondato il 13 febbraio 1905, e la Jeunesse Sportive Brestoise, fondata nel 1906.
Nei primi anni partecipa ai campionati amatoriali della Bretagna. Nel 1914 cambiò il nome in Fanion de Brest, assumendo nello stesso anno il nome attuale.
La società ha partecipato a 26 stagioni in terza serie francese, divise tra CFA e Division 3, più alcune partecipazioni alla Coppa di Francia, competizione in cui come massimo risultato ha raggiunto due volte i quarti di finale, nel 1935-1936 e 1962-1963.