Cresciuto nella Dinamo Dresda, nella Germania Est, esordì giovanissimo conquistandosi fin dall'età di 19 anni un posto da titolare e arrivando a spezzare il decennale dominio della Dinamo Berlino nel campionato della DDR con i titoli del 1989 e 1990.
Dopo la caduta del muro di Berlino lasciò l'Oberliga per trasferirsi al Bayer Leverkusen, di cui diverrà una bandiera e il migliore realizzatore di tutti i tempi. Nell'estate del 1990 prima di trasferirsi al Bayer Leverkusen fu a lungo trattato dal Cagliari appena ritornato in Serie A sotto la guida di Claudio Ranieri, ma il giocatore preferì giocare con la squadra tedesca ed il Cagliari prese l'uruguaiano Daniel Fonseca al suo posto. Nel 1993 conquistò il primo titolo di capocannoniere con 20 reti, in condivisione con l'attaccante dell'Eintracht FrancoforteAnthony Yeboah. Tornò a vincere tale titolo, entrambe le volte con 22 reti, nel 1997 e 1998, guidando il Bayer al secondo e terzo posto rispettivamente, e ancora alla piazza d'onore nel 1999. Nonostante abbia continuato a segnare con continuità fino all'età di 37 anni, non vinse altri trofei che la Coppa di Germania del 1993, perdendo in finale quella del 2002.
Si ritirò dal calcio dopo la stagione 2002-03, in cui disputò solo 3 gare di campionato.
Nazionale
Kirsten ha collezionato 100 presenze a livello internazionale, 49 con la nazionale della Germania Est e 51 con quella della Germania unificata, per un totale di 34 reti (14 e 20 rispettivamente).
Il debutto avvenne l'8 maggio 1985, a 19 anni, contro la Danimarca, in una partita per la qualificazione ai campionati mondiali. Diventò subito titolare fisso della squadra, con cui collezionò 49 presenze in 5 anni, segnando 14 reti. Le ultime tre furono siglate contro la nazionale statunitense che si apprestava a disputare il mondiale di Italia 1990. L'ultima partita è del 13 maggio di quell'anno, con un 3-3 contro il Brasile.
Dopo l'unificazione della Germania, Kirsten tornò a vestire la maglia della nazionale tedesca il 14 ottobre 1992 contro il Messico. Prese parte a 2 mondiali, nel 1994, senza disputare alcuna gara, e nel 1998 con 4 partite senza reti. Chiuse la sua carriera internazionale il 20 giugno 2000, al campionato europeo in Belgio e Paesi Bassi.