Lasciato il calcio giocato Kovacs rimane nella società del MTK Budapest, guidando le giovanili e poi la formazione "B", per divenire allenatore della prima squadra nel biennio 1968-1969. Con il MTK vince la Magyar Kupa 1968, sconfiggendo in finale l'Honvéd.[3]
Dopo aver allenato per due anni l'Eger, nel 1972 passa alla guida del Videoton con cui ottiene il secondo posto nella stagione 1975-1976.[3]
Nel 1983 torna alla guida del Videoton, con cui in campionato ottiene due terzi posti nel 1984 e 1985. Risultato di prestigio fu il raggiungimento della finale della Coppa UEFA 1984-1985 contro gli spagnoli del Real Madrid, che fu onorata con la vittoria al Stadio Santiago Bernabéu per 1-0, risultato che però non fu sufficiente a causa della sconfitta casalinga per 3-0.[3]
Con il Videoton vince due Coppa Piano Karl Rappan nel 1983 e 1984.
Nel 1986 si trasferisce in Spagna per allenare il Las Palmas, società militante nella massima serie. Viene esonerato dalla guida della squadra della Gran Canaria alla 29ª giornata, venendo sostituito da Germán Dévora.[3]