Cresciuto nelle giovanili del Manchester Utd, entra in prima squadra nel 1971, debuttando due anni dopo l'8 settembre 1973 contro l'Ipswich Town. Durante gli anni forma una solida coppia difensiva assieme al centrale Martin Buchan. Arriva ai Red Devils come uno degli ultimi Busby Babes, scoperto da Joe Armstrong. A causa di qualche infortunio non riesce a debuttare nelle sue prime due stagioni a Manchester. Con l'arrivo dell'allenatore Tommy Docherty, che lo voleva in precedenza al Rotherham Utd, Greenhoff diviene un titolare inamovibile della difesa dei Red Devils. Durante il suo periodo a Manchester, Docherty lo schiera in ogni ruolo del centrocampo e Greenhoff finisce anche in porta quando l'estremo difensore titolare Alex Stepney s'infortuna in una partita contro il Birmingham City. Il lungo cammino mancuniano nella Coppa d'Inghilterra 1975-1976 è arrestato dal Southampton in finale, per 1-0. Greenhoff si rifa nella stagione seguente: nella finale giocata contro il Liverpool suo fratello Jimmy sigla il definitivo 2-1 che regala il trofeo al Manchester Utd.
Conclude la sua esperienza a Manchester potendo vantare 17 reti in 271 incontri, totalizzati in tutte le competizioni.
Gli ultimi anni
Nel 1979 parte per Leeds in cambio di 350.000 sterline.[2] Nel Leeds Utd non riesce a mantenersi in forma[3] e quando la squadra retrocesse nel 1982 a Greenhoff viene concesso di svincolarsi dal club: liberatosi a parametro zero, fa una breve esperienza in Finlandia, ritornando in patria nel 1983 quando è chiamato ad assumere il ruolo di allenatore-giocatore al posto di suo fratello nel Rochdale. Quando, nel marzo del 1984, suo fratello viene licenziato, lascia anch'egli il club.
Nazionale
Comincia ad esser convocato con la nazionale inglese quand'è in forza al Manchester Utd, nel 1976: il suo primo incontro è giocato l'8 maggio contro il Galles a Cardiff (0-1). Totalizza 18 presenze tra il 1976 e il 1980.
.svg){kind=small}
