Directeur de cabinet du gouverneur Jerry Brown de 1975 à 1981, il est membre de l'Assemblée de Californie de 1983 à 1987, puis contrôleur d'État (ministre du Budget) jusqu'en 1995.
En 1995, il est élu lieutenant-gouverneur au côté du gouverneur républicainPete Wilson, puis est lui-même élu gouverneur de l'État de Californie en 1998 avec 57,9 % des voix, mettant fin à une longue domination des républicains.
Dès 1999, certains électeurs tentent d'engager une procédure de recall (révocation) contre lui mais échouent à rassembler assez de signatures[1].
Grâce à cette rapide ascension, il est vu comme un possible espoir du Parti démocrate pour l'élection présidentielle de 2004.
Mais la crise de l'énergie de 2001 et le déficit du budget californien en 2003 vont mettre un terme à cette carrière.
En novembre 2002, en dépit de son impopularité, il manœuvre habilement pour interférer dans les primaires républicaines et faire écarter son plus redoutable adversaire, Richard Riordan, ancien maire de Los Angeles et républicain centriste. Davis se retrouve alors face à Bill Simon, un candidat républicain ultra-conservateur, qu'il bat assez facilement en avec un score cependant bien inférieur à ce qui était attendu dans une telle configuration politique.
En 2003, Gray Davis doit faire face à une procédure de recall : les républicains Ted Costa, Mark Abernathy, et Howard Kaloogian mènent la pétition et bénéficient d'un don de 2 millions de dollars de l'homme d'affaires républicain Darrell Issa, qui leur permet de mener une campagne efficace. La pétition recueille 1,35 million de signatures authentifiées, largement plus que les 900 000 requises (c'est-à-dire 12 % des électeurs de 2002)[1].
Le , la procédure référendaire de destitution est alors couplée avec l'élection d'un nouveau gouverneur[1]. Comme attendu, Gray Davis est destitué par 54 % des électeurs contre 46 % qui lui maintiennent leur confiance.
L'acteur républicain Arnold Schwarzenegger est élu comme nouveau gouverneur de l'État et entre en fonction en novembre pour terminer le mandat de Davis. C'est alors le deuxième gouverneur d'un État fédéré américain à être démis de ses fonctions à la suite d'un référendum révocatoire[1] après celui de Lynn Frazier en 1921 dans le Dakota du Nord.
