Parish speelde in het college-basketball voor de Centenary Gentlemen. Als gevolg van zijn goede prestaties werd hij maar liefst 3 keer gedraft om in 1976 uiteindelijk een contract te tekenen bij de Golden State Warriors waarvoor hij 4 seizoenen zou spelen. Nadat Dave Cowens gestopt was hadden de Boston Celtics nood aan een nieuwe center. In juni 1980 werd Parish, samen met een draft in de eerste ronde van de Warriors, geruild tegen twee drafts van de Celtics. Met deze extra draft kozen de Celtics voor Kevin McHale.[1]. Samen met Mc Hale en Larry Bird maakte Parish deel uit van de zogenaamde "Big Three". Onder impuls van dit trio haalden de Celtics vijfmaal de NBA Finals, en wonnen die ook driemaal in 1981, 1984 en 1986.
Na het afscheid van Bird in 1992 en McHale in 1993 bleef Parish als laatste van de Big Three achter bij de Celtics. In de zomer van 1994 verliet Parish de Celtics voor de Charlotte Hornets waarvoor hij twee seizoenen zou spelen. Parish sloot zijn carrière in het seizoen 1996/1997 af bij de Chicago Bulls. Voornamelijk als invaller kon hij zo nog bijdragen aan de vijfde NBA-titel van de Bulls. Op 43-jarige leeftijd was Parish meteen de oudste kampioen uit de geschiedenis van de NBA. Op het einde van dit seizoen sloot Parish zijn rijk gevulde loopbaan af. Met 1611 NBA-wedstrijden is Parish anno 2021 nog steeds de speler met de meeste NBA-wedstrijden achter zijn naam.