Milan Janković commence sa carrière dans le modeste club de Maribor en 1978. Deux ans plus tard, il est transféré par l'Étoile rouge de Belgrade, le plus grand club yougoslave à l'époque. Dès sa première saison, il s'impose au milieu du terrain et l'équipe remporte le titre de champion de Yougoslavie. La saison suivante, il ajoute une Coupe de Yougoslavie à son palmarès et celui du club. Malheureusement pour lui, une grave blessure l'écarte des terrains toute la saison 1982-1983, et l'équipe ne termine que cinquième. La saison suivant son retour, il remporte un nouveau titre de champion, suivi par une seconde Coupe de Yougoslavie un an plus tard. Le , il joue son premier match international, perdu 2-4 face au Brésil. Il inscrit un des deux buts de la Yougoslavie. En janvier 1987, après six ans et demi passés à l'Étoile Rouge, il est autorisé à quitter la Yougoslavie, et est transféré au grand Real Madrid.
Les premiers mois en Espagne sont difficiles pour Janković, qui est le plus souvent remplaçant. Néanmoins, il remporte le titre de champion d'Espagne. Il s'impose comme un titulaire indiscutable la saison suivante, et forme un milieu de terrain redoutable avec Rafael Gordillo, Míchel et Rafael Martín Vázquez, en support des buteurs Emilio Butragueño et Hugo Sánchez. Le Real remporte le titre haut la main, avec 11 points d'avance sur son dauphin, et 95 buts inscrits pendant la saison. Malgré ces succès remportés et une place de titulaire, il est transféré à Anderlecht à l'été 1988.
Souvent gêné par des blessures, il joue peu lors de sa première saison en Belgique. Il participe toutefois à la finale de la Coupe de Belgique 1989, remportée par Anderlecht, au cours de laquelle il inscrit le second but de son équipe. En championnat, le club termine deux fois vice-champion. Le , il dispute avec le club bruxellois la finale de la Coupe des Coupes, perdue après prolongations face à la Sampdoria. Il décide ensuite de retourner à l'Étoile rouge de Belgrade, mais blessé, il est forcé de mettre un terme à sa carrière à seulement 31 ans.
Après sa retraite, Milan Janković émigre en Australie, pays d'origine de sa femme, où il joue quelque temps au futsal[2]. De 2003 à 2005, il occupe le poste de sélectionneur national des îles Tonga.