Negli anni ottanta si fa conoscere militando nei Tyran' Pace. Nel 1986 partecipa ad una serie di concerti con gli Helloween per sostituire alla voce Kai Hansen, che ha difficoltà a suonare e cantare contemporaneamente. Il gruppo di Amburgo sembra sul punto di prenderlo in pianta stabile, ma alla fine gli viene preferito lo sconosciuto diciassettenne Michael Kiske.
Nel 1989Hansen lascia gli Helloween ma la sua strada si incrocia nuovamente con quella di Scheepers: i due mettono in piedi un progetto che, nei piani iniziali, avrebbe dovuto essere a loro nome, ma che da lì a poco si trasforma in una vera band: i Gamma Ray.
Contemporaneamente Hansen gli dà un ultimatum: dal momento che Ralf abita molto distante da Amburgo, quartier generale dei Gamma Ray, e non può quindi essere sempre reperibile per l'attività del gruppo, gli viene chiesto di scegliere se applicarsi di più con il resto della band trasferendosi ad Amburgo o andarsene. Scheepers, dato anche che la questione dell'entrata nei Judas è ancora aperta, decide di allontanarsi dalla band.
Fuori dai Gamma Ray si vede anche rifiutato dai Priest, ufficialmente perché la sua voce e la sua impostazione vocale risultano troppo simili a quelle di Halford.
Verso il 1997, dopo una pausa di un paio d'anni circa, viene esortato da Mat Sinner dei Sinner a tornare ad utilizzare il proprio talento. Gli viene proposto pertanto di fondare assieme una band, i Primal Fear, grazie ai quali torna ad essere uno dei più apprezzati cantanti della scena metal, e con i quali si esibisce regolarmente tuttora.
Nel 2011 ha pubblicato un disco solista, nel quale tra l'altro duetta sul brano Remission of Sin con l'ex "rivale" Ripper Owens.
Negli ultimi 20 anni ha prestato inoltre la sua voce ad altri gruppi per collaborazioni di vario tipo: come con i Therion, gli Ayreon, i Tribuzy, Magnus Karlsson e nuovamente Kai Hansen e i Gamma Ray, oltre a molte altre sporadiche comparsate.
Stile vocale ed estensione
È palesemente noto a numerosi fan come lo stile di Ralf Scheepers si basi su sonorità vocali riconducibili al metal di Rob Halford ma il cantante plasma la sua tecnica anche sotto altri padri, quali Ronnie James Dio, Ian Gillan e altri grandi dell'hard rock.
Ralf possiede un'estensione vocale che lo porta ad arrivare a bassi quali B1 ed, in album come Nuclear Fire e Black Sun, a note quali il B5 che indubbiamente non è un limite viste le numerose realizzazioni live dell'acuto da record. È possibile ascoltare un'esibizione live di un B5 nel DVD The History of Fear dove nei primi minuti si sente distintamente la nota eseguita all'inizio del brano Final Imbrace. Inoltre basta ascoltare le seconde voci dei ritornelli dei brani di Nuclear Fire per redersi conto della potenza vocale di Ralf.
2017 – Europica – Part One (voce nei brani Silently e We'll Never)
2017 – Enzo And The Glory Ensemble – In The Name Of The Son (voce nei brani Te Deum e If Not You)
2017 – Dragony – Lords Of The Hunt (voce)
2017 – The Rose Of Lilith – Soulless (singolo) (voce nel brano Soulless)
2018 – Tomorrow's Outlook – A Voice Unheard (voce in tutti i brani tranne che in Descent, Through Shuttered Eyes, Outlaw, Times of War, Darkside of Aquarius e Slave to the Evil Force)
2018 – Nergard – Memorial For A Wish (2018 Version) (voce nel brano Inside Memories)
2018 – Infinita Symphonia – Liberation (voce nel brano Never Forget)
2021 - Gamma Ray - 30 Years Live Anniversary(voce nei brani Lust for Life, One With the World, The Silence, Heading for Tomorrow)
2001 – German Rock Stars – Wings Of Freedom (singolo) (voce)
2016 – Artisti Vari – Edu Falaschi – A New Lease Of Life: 25th Anniversary Tribute Vol. I (voce nel brano Spread Your Fire con i Soulspell insieme a Ripper Owens)
