Bien que ses parents soient allemands, il est né en Russie comme Russe allemand, et commence sa scolarité en Crimée. Dès l’école, il est attiré par les relations entre les plantes et le climat dans lequel elles poussent. Plus tard, il étudie dans les universités de Heidelberg puis de Leipzig, en Allemagne, dont il devient docteur en 1870. Sa thèse porte sur les effets de la température sur la croissance des plantes.
Entre 1872 et 1873, Köppen est employé aux services météorologiques de Russie. En 1875, il retourne en Allemagne, où il devient chef du nouveau service de météorologie marine à l'Observatoire maritime allemand (Deutsche Seewarte) basé à Hambourg. Là, il est responsable de l’établissement d’un bulletin de prévision météo pour la partie nord-ouest de l’Allemagne. Après quatre ans de service, il peut revenir à ce qui l’intéressait prioritairement : la recherche fondamentale.
Köppen commence une étude systématique du climat et fait des expériences avec des ballons pour obtenir des données sur l'air en altitude. En 1884, il publie la première version de sa carte des zones climatiques, dans laquelle sont indiqués les intervalles de température saisonnière. Ce travail mène au développement du système de classification de Köppen aux alentours de 1900, qu’il continua à améliorer toute sa vie. La version complète de son système apparaît pour la première fois en 1918, et après plusieurs modifications, la version finale est publiée en 1936.
À part la description des différents types de climats, il s’intéresse aussi à la paléoclimatologie. En 1924, il publie avec son gendre Alfred Wegener un article intitulé Die Klimate der Geologischen Vorzeit (« Les climats du passé géologique ») qui apporte un soutien crucial à la théorie de Milutin Milanković sur les ères glaciaires.
Jusqu’à la fin de sa vie, Köppen coopère avec le climatologue allemand Rudolph Geiger à la rédaction d’un manuel de climatologie en cinq volumes (Handbuch der Klimatologie) qui ne fut jamais terminé mais dont plusieurs parties, dont trois de Köppen, furent publiées. Après la mort de Köppen en 1940, Geiger continue à travailler aux modifications du système de classification des climats.