A diciotto anni debuttò alle Olimpiadi: a Innsbruck 1976 vinse subito la medaglia di bronzo nella staffetta. Quattro anni a dopo, a Lake Placid 1980, furono solo Anatolij Aljab'ev e la sua Unione Sovietica a impedirgli di vincere tre ori su tre; vinse tuttavia l'oro nella sprint e l'argento nell'inseguimento e nella staffetta. A Sarajevo 1984deluse[senza fonte], mancando la medaglia in tutte le gare (5º in individuale, 17º in sprint, 4º in staffetta).
Ullrich non riuscì ad adattarsi al passaggio dalla tecnica classica alla tecnica libera[senza fonte], concludendo così anzitempo la sua carriera di biatleta, a poco più di 25 anni.