La squadra venne fondata nel 1921.[1] Inizialmente, il nome adottato fu Djerv, per poi diventare Jerv.[1] Nel 1934, lo Jerv entrò nel Grimstad Turn og Idrettsforening, un gruppo sportivo locale.[1] Nel 1975, cominciò Den engelske perioden, il periodo inglese: Douglas Reynolds venne nominato allenatore, mentre nel 1976 toccò a Geoffrey Hudson, a Bryan King dal 1978 al 1979 e Ian Crawford nel 1986.[1] Nel 1982, lo Jerv venne promosso nella 2. divisjon, oggi nota come 1. divisjon.[1] La squadra retrocesse al termine del campionato 1986. Successivamente, la squadra scivolò fino alla 3. divisjon, per poi risalire negli anni 2000. Al termine del campionato 2014, lo Jerv riconquistò un posto nella 1. divisjon. Il 15 dicembre 2021 ottengono la prima storica promozione in Eliteserien al termine dello spareggio con il FK Brann.
