Durant l'évacuation de la Prusse de l'est au début de l'année 1945, lors d'un dur hiver, sa mère fuit l'avancée des troupes soviétiques avec son jeune garçon. En 1948, ils parviennent à Arnstadt en Allemagne de l'est pour ensuite habiter Hanovre, en Allemagne de l'Ouest (comme il le raconte dans sa chanson Renegade de l'album Steppenwolf Seven). Installé dans la zone des Alliés en Allemagne, le jeune Joachim, malvoyant, écoute la musique en provenance des forces britanniques, avant que sa famille ne déménage au Canada en 1958.
En 1965 Joachim se joint au groupe de blues The Sparrows(en), qui connait quelque succès au Canada. En 1967 le groupe gagne la Californie et change son nom en Steppenwolf. Le hard rock de Steppenwolf trouve un succès international avec les chansons Born to Be Wild, Magic Carpet Ride, Monster, The Pusher, et Rock Me, succès amplifié par l'utilisation de Born to Be Wild et de The Pusher dans la bande-son du film Easy Rider, en 1969.
Kay enregistre son album solo comme artiste avec Steppenwolf vers la fin des années 1970. Il termine sa dernière tournée avec le groupe Steppenwolf pour leur 40e année de tournées en . Cependant, Kay et Steppenwolf font une apparition, le , à Louisville, Kentucky[2]. John Kay donne un concert en France, avec Steppenwolf le 2 juillet 2016, lors du festival American Tours.
En 2004 il est immortalisé au Canada dans le Canada's Walk of Fame en mémoire de ses premières années comme citoyen canadien et du début de sa carrière à Toronto[3].
John Kay est atteint d'achromatopsie, une maladie génétique très rare donnant une très forte sensibilité à la lumière (le poussant à porter des verres fumés), une absence totale de vision des couleurs, une acuité visuelle très faible, et un nystagmus[4].