Il a d'abord joué dans le groupe Rampage de 1980 à 1982 avec lequel il a enregistré deux albums : Victims of Rock en 1981 et Love Lights Up The Night en 1982, Henjo Richter (Gamma Ray) sera d'ailleurs invité sur cet album. Mais le groupe ne rencontre pas le succès et finit par se séparer.
C'est en 1988 que Roland Grapow va rejoindre le groupe Helloween en cours de tournée, venant d'être laissé par son fondateur Kai Hansen, qui le quitta pour cause de multiples tensions entre Michael Weikath, Michael Kiske et lui-même. Il participera à six albums avec ce groupe : Pink Bubbles Go Ape (1991), Chameleon (1993), Master of the Rings (1994), The Time of the Oath (1996), Better Than Raw (1998) et The Dark Ride (2000).
Il sortira durant cette période deux albums solo : The Four Seasons Of Life en 1997 et Kaleidoscope en 1999. Même s'il les a écrits pendant qu'il était encore dans Helloween, ces deux albums ne ressemblent en rien à son travail avec ce groupe et sont plutôt orientés Néoclassique, où l'influence d'Yngwie Malmsteen ainsi que de compositeurs de musique classique tels que Niccolò Paganini se fait ressentir.
Mais après la tournée promotionnelle de The Dark Ride, Roland Grapow est évincé tout comme le batteur Uli Kusch par Michael Weikath, qui les juge trop peu intéressés au groupe et plus par leurs projets solo. Ils décident alors ensemble de la formation d'un nouveau groupe baptisé Masterplan.
Depuis la formation de ce groupe, cinq albums sont sortis : Masterplan (2003), Aeronautics (2005), MK-II (2007), Time to be King (2010) et Novum Initium (2013). Ces albums ne sont pas dans la lignée de ses albums solo mais sont plutôt orientés heavy metal. C'est après la tournée de l'album Aeronautics qu'Uli Kusch quitte le groupe, probablement à cause de différends entre Roland Grapow et lui-même, et s'en va former un autre groupe, Ride the Sky. Il sera remplacé ensuite par Mike Terrana.
