Tergat ontwikkelde zich als atleet in de loop der jaren uitermate gelijkmatig. Na een eerste uitstapje op de 10.000 m in 1991, concentreerde hij zich vanaf 1992 allereerst op de 5000 m, waarna hij dit nummer vanaf 1993 in toenemende mate combineerde met de 10.000 m. Op beide nummers liep hij zijn beste tijden in 1997. Vanaf 1995 nam hij naast de baanwedstrijden bovendien deel aan wegwedstrijden tot en met halve marathons. Zo won hij bijvoorbeeld in 1995 de Dam tot Damloop in een tijd van 45.50, terwijl hij dat jaar ook tweede werd op de 5000 m tijdens de Wereld Militaire Spelen in een tijd van 13.27,44. Deze wedstrijd werd gewonnen door Shem Kororia.
Tweemaal zilver achter Gebrselassie
Op de Olympische Spelen van 1996 in Atlanta won Paul Tergat een zilveren medaille op de 10.000 m. Na een hevig duel met Haile Gebrselassie moest hij op de finishlijn in de Ethiopiër zijn meerdere erkennen. Tijden: 27.07,34 om 27.08,17. Vier jaar later vormde de 10.000 m op de Spelen van Sydney een herhaling van die van Atlanta, zij het dat het verschil op de finish nu 0,09 seconden bedroeg. Gebrselassie won in 27.18,20, Tergat volgde in 27.18,29. In zijn later in het Nederlands vertaalde biografie Lopen met Haile vertelt Gebrselassie, hoe hij in Sydney in die finale door het oog van de naald kroop. Hij werd door Tergat opgezweept, terwijl hij eigenlijk niet meer kon lopen van de pijn.[1]
Wereldrecord
Ná de Spelen van Sydney stapte Tergat over op de marathon. Ook hier volgde een geleidelijke uitbreiding van zijn ervaring, vóór hij zich serieus aan een aanval op het wereldrecord durfde te wagen. De overtuiging dat hij hiertoe in staat zou zijn, kreeg hij bij de marathon van Londen in 2003.[2] Hier finishte hij als vierde in 2:07.59. 'Ik dacht: als ik in slechte omstandigheden die prestatie kan leveren, kan ik ook een wereldrecord lopen. Ik heb alle andere wedstrijden en reizen geschrapt en me vier maanden geconcentreerd op dit ene doel.'[2] Tergat legde zichzelf een zwaar trainingsprogramma op toen hij zijn recordaanval voorbereidde. Met zijn trainingsgroep liep hij weken van 240 tot 260 kilometer, zo vertelde hij na zijn race in Berlijn aan het Leichtathletik Magazine. In de vier maanden voor 'Berlijn' liep hij meermalen een afstand van 41 kilometer, als mentale voorbereiding voor de laatste moeilijke kilometers.[2]'Het is geen programma dat voor iedereen geschikt is. Maar ik vond er baat bij. Ik had de laatste kilometers het gevoel of de zolen onder mijn schoenen waren verdwenen, zoveel pijn had ik.'[2] Tergat koos voor Berlijn, omdat hij daar - anders dan in Chicago - de wedstrijd zelf mocht regisseren. Toch liep het voor hem nog bijna mis. In de laatste kilometers liep Tergat zij aan zij met Sammy Korir. De Keniaan, aangetrokken als tempomaker, bleef in de wedstrijd en voltooide zijn eerste marathon. Zijn debuut (2:04.56) moet misschien nog wel hoger worden aangeslagen dan het wereldrecord van de meester. De laatste merkte een tikje verontwaardigd op, dat de stunt van zijn landgenoot tegen alle afspraken in was en dat de haas niet het zwaarwegende kruis van de favoriet draagt, wat een niet te verwaarlozen voordeel is.[1]
Derde Olympische Spelen
Een jaar later koos Tergat bij zijn derde optreden op Olympische Spelen, de Spelen van Athene, voor de olympische marathon. Zijn ultieme doel was vanzelfsprekend de olympische titel. Maar angst voor de omstandigheden had hij van tevoren wel. 'Athene zal een grote marteling worden voor de marathonlopers, vooral omdat de race overdag wordt gehouden. Ik ben bang voor de weersomstandigheden. Wat het moeilijk maakt om je specifiek voor te bereiden, is de zekerheid dat het ten opzichte van de meeste grote marathons een tactische race wordt.[1] Tergats angst werd bewaarheid; hij liep tegen een zware inzinking op en eindigde ten slotte op een tiende plaats in 2:14.45. De wedstrijd werd gewonnen door de ItaliaanStefano Baldini in 2:10.55.