Élu député libéral d'Outremont en 1989, il est nommé ministre de l'Industrie, du Commerce et de la Technologie dans le cabinet Bourassa du au et dans le cabinet Johnson (fils) du au . Réélu en 1994, il est nommé Président de la Commission de l'économie et du travail du jusqu'à sa démission le : il retourne dès lors dans le monde des affaires (HEC, Monitor Company, Rolland, ainsi que diverses participations à des conseils d'administration). Il fut Président du 35e Mondial des Métiers de Montréal en 1999.
Profitant de la baisse de popularité de Pierre Bourque, responsable du projet de "méga-fusion" des 29 municipalités de l'île de Montréal en une seule entité, il est élu pour la première fois maire de Montréal aux élections municipales du grâce au soutien d'une coalition hétéroclite regroupant notamment des adversaires de cette unification. Il est réélu le , à nouveau devant Pierre Bourque, la participation de 39,03 % enregistrée à cette occasion étant la plus faible de l'histoire de la ville.
Le , l'entrepreneur en construction Lino Zambito révèle à la Commission Charbonneau qu'un cartel mafieux de réfection des égouts, qui obtenait des contrats à la Ville de Montréal, versait une somme équivalente à 3 % de leur valeur au parti de Gérald Tremblay[3].
Le , l'ex-organisateur du parti municipal Union Montréal implique le maire Tremblay dans des allégations de financement illégal en lien avec la mafia. Il soutient que Gérald Tremblay connaissait les pratiques douteuses de financement et qu'il avait tenu à préciser qu'il ne voulait être officiellement au courant de rien[4]. Ces déclarations provoquent une série de réactions négatives de la part de tous les porte-parole des partis politiques provinciaux. Tremblay annonce alors prendre quelques jours de repos.
Le , il annonce sa démission comme maire de Montréal et quitte la vie publique[5],[6]. Lors de sa démission, il déclare : « Je ne vous ai jamais trahi. Je souhaite ardemment qu'un jour on reconnaisse que je me suis battu, souvent seul, contre ce système[7] ».
Le , il admet que des fonctionnaires de la Ville de Montréal, voire des élus, recevaient des cadeaux à Noël de la part d'entrepreneurs et acceptaient des invitations dans des loges de hockey. Il affirme avoir personnellement reçu des bouteilles de vin ou des paniers cadeaux à Noël[8].
Le , il est placé sous protection policière à la suite d'une défaillance mécanique suspecte sur sa voiture[9].
Le , Union Montreal, son ancien parti, annonce sa dissolution [10].