En 1952, il est élu au conseil communal de Battice pour le Parti social chrétien (PSC). Il en devient le bourgmestre, l'année suivante, poste qu'il occupe jusqu'en 1976. Après la fusion avec Herve, en 1977, il est élu aux élections communales et devient bourgmestre de Herve jusqu'en 1985.
Aux élections législatives du , il est élu au Sénatdans l'arrondissement de Verviers. Il y siège jusqu'à sa mort en 1985. Il est vice-président du Sénat de 1977 à 1978 et de 1980 à 1985. De 1975 à 1980, il a également représenté le PSC au Conseil économique régional wallon. Il est également président par intérim du PSC pendant plusieurs mois en 1974 et de 1976 à 1977. De 1980 à 1985, il siège également au Conseil régional wallon.
Georges Gramme a également poursuivi une carrière ministérielle : de 1979 à 1980, il a été ministre de l'Intérieur et des Réformes institutionnelles du gouvernement Martens I à partir du , compétences qu'il conserve au sein du gouvernement Martens II mais auxquelles s'ajoute la politique scientifique, à la suite du départ du FDF de la coalition. Il quitte le gouvernement lors de la formation du gouvernement Martens III, le .
Le , il meurt subitement lors d'une visite parlementaire en Israël.