Nato a Odense, Høgh iniziò la carriera nella squadra della sua città, l'Odense BK. Nel 1977 esordì in prima squadra, facendo da secondo a Mogens Therkildsen, allora portiere della Nazionale di calcio danese; proprio nel suo primo anno di attività professionistica vinse il campionato danese di calcio. Gli anni successivi lo videro stabilirsi come titolare, debuttando anche con la Danimarca Under-21; vinse poi il campionato nazionale nel 1982 e la Coppa di Danimarca l'anno successivo, ottenendo la convocazione in Nazionale maggiore dal commissario tecnicoSepp Piontek. Sempre con l'Odense, vinse di nuovo il titolo nel 1989, oltre alle Coppe 1991 e 1993. Ha vinto il titolo di Miglior Portiere dell'Anno in Danimarca (Det Gyldne Bur) per cinque volte, di cui l'ultima nel 1994, stabilendo un record.
Høgh si è ritirato nel 2000, all'età di quarantuno anni, giocando un totale di 817 partite in tutte le competizioni con l'Odense.
Nazionale
Convocato per il campionato del mondo 1986, iniziò come sostituto ma giocò le ultime due partite della squadra nella competizione, rimpazzando Troels Rasmussen quando la Danimarca sconfisse la Germania per due reti a zero, avanzando così ai quarti di finale; contro la Spagna, Emilio Butragueño segnò quattro reti a Høgh e la rappresentativa danese fu eliminata dai mondiali con il punteggio di 5-1. Rimpiazzato di nuovo da Rasmussen, nel settembre 1987 giocò una delle sue ultime partite; l'ascesa di Peter Schmeichel, infatti, relegò Høgh al ruolo di sostituto. Durante la FIFA Confederations Cup 1995 Høgh giocò al posto proprio di Schmeichel, assente, ma si infortunò e lasciò il posto a Mogens Krogh.
Dopo il ritiro
In seguito al termine della sua carriera, Høgh fu direttore sportivo dell'Odense BK per tre anni, e nel 2008 ha rimpiazzato Jørgen Henriksen come preparatore dei portieri per la Danimarca.
Morte
L'8 dicembre 2021 la famiglia rilascia una dichiarazione[1] in cui informa della morte dell'ex allenatore dopo una lunga battaglia contro un cancro al pancreas.
Statistiche
Cronologia presenze e reti in nazionale
Cronologia completa delle presenze e delle reti in nazionale ― Danimarca