Après une période d'études au conservatoire de Zurich où il donne ses premiers concerts, il travaille comme arrangeur et pianiste pour Radio Basel[4]. Sa carrière musicale démarre véritablement au début des années 1950. En 1958, il se produit au sein de l'International Youth Band lors du Festival de Newport[5], créé quatre ans plus tôt, avant de suivre plusieurs musiciens de jazz américains en tournées en Europe, comme Louis Armstrong et Lee Konitz. Il participe à l'European Rhythm Jazz Machine de Phil Woods de 1968 à 1969, avec Henri Texier et Daniel Humair[5].
À la tête de son groupe, George Gruntz effectue plusieurs tournées à travers le monde, donne plus de 200 concerts et collabore avec pas moins de 150 solistes européens et américains comme Slide Hampton et Phil Woods[3]. C'est au cours d'une tournée en Chine en 1992 que paraît Live in China, le disque le plus foisonnant de son big band[8].
George Gruntz est connu pour affectionner les expériences sonores, n'hésitant pas à improviser et à combiner les genres[9]. Il transpose parfois de la musique baroque en jazz, ou se lance dans l'interprétation de classiques sur de grandes orgues. Il justifie le caractère éclectique de son art en affirmant que les principaux critères d'appréciation du jazz sont "la spontanéité et l'improvisation"[3].
Au cours de sa carrière, George Gruntz enregistre une douzaine de disques. Il a été aussi amené à travailler pour le théâtre et le cinéma. Il signe notamment "World Jazz Opera" en 1982, "Cosmopolitan Greetings" en 1988 et "The Magic of a Flute" en 2003[3].