Hans Gillhaus speelde in zijn jeugd onder andere bij ZVV Be Quick in Zutphen en RKVV Zwaluw in Vught. Op 21 augustus 1983 debuteerde Gillhaus in het profvoetbal bij de wedstrijd FC Den Bosch '67-Roda JC. Hij speelde honderdenzeven wedstrijden (vijfenveertig doelpunten) voor de Brabantse club.
PSV
Na vier seizoenen FC Den Bosch '67 ruilde hij de Nederlandse middenmoter in voor PSV. Bij PSV was Ruud Gullit voor een recordbedrag naar AC Milan vertrokken. Gillhaus werd vervolgens samen met Wim Kieft en Søren Lerby aangetrokken als versterking. In zijn eerste seizoen won Gillhaus met PSV de landstitel, de KNVB beker en de Europacup I. Een jaar later won de club opnieuw de dubbel.
Aberdeen
In 1990 kocht Aberdeen de Nederlandse aanvaller voor een bedrag van £650.000,- (ongeveer €745.000,-) van PSV, waar hij overbodig was geworden na de komst van Braziliaanse sterspeler Romário. Gillhaus vond in Schotland landgenoot Theo Snelders terug. In zijn debuutwedstrijd was Gillhaus meteen goed voor twee doelpunten, waaronder een via een omhaal.
Vitesse
Toen trainer Willie Miller het roer overnam, zocht Gillhaus andere oorden op. Hij keerde terug naar Nederland en sloot zich aan bij Vitesse, waar hij zich terug in de kijker speelde en opnieuw een selectie voor Oranje te pakken kreeg.
Gamba Osaka, AZ, FF Jaro en FC Den Bosch
Nadien voetbalde de aanvaller nog twee jaar in Japan, bij Gamba Osaka, een seizoen bij AZ en een seizoen bij het Finse FF Jaro. Zijn carrière sloot hij af in de Eerste divisie bij zijn ex-club FC Den Bosch.
International
Gillhaus debuteerde op 28 oktober 1987 voor Oranje; dat was in de later wegens het bomincident geschrapte interland tegen Cyprus (8–0). Het was toenmalig bondscoach Rinus Michels die hem voor het eerst selecteerde. In 1990 nam bondscoach Leo Beenhakker hem mee naar het WK in Italië. Zijn laatste interland speelde hij in 1994 onder bondscoach Dick Advocaat.
Scoutcarrière
Na zijn loopbaan als profvoetballer werd Gillhaus scout bij PSV. In juli 2005 vertrok Gillhaus als hoofdscout naar Chelsea. Van augustus 2011 tot augustus 2012 was Gillhaus technisch directeur bij Zulte Waregem. In augustus 2012 werd Gillhaus hoofdscout bij Queens Park Rangers. Vanaf maart 2014 was hij scout bij Sunderland en vertrok in juli 2017 als scout naar Arsenal.