Né à Chicago (Illinois) Green rejoint Trummy Young lorsqu'il intègre à 19 ans l'orchestre de Earl Hines en 1942, puis il part faire son service militaire pour deux années et rejoint Hines de 1946 à 1948[1]. Dizzy Gillespie fait partie à cette période de l'orchestre de Hines; Green est très admiratif de la technicité Gillespie qui à l'occasion lui apprendra au piano quelques techniques et mesures[2].
Il collabore ensuite avec Gene Ammons dans l'orchestre de Charlie Ventura en remplacement de Kai Winding et commence à se faire un nom pour son jeu bebop et ses innovations harmoniques au trombone.
Il accompagne quelques semaines Duke Ellington de 1968 à 1969 puis rejoint Las Vegas où il passe ses dernières années à jouer principalement au sein de « bands d'hôtels », faisant aussi une apparition au Newport Jazz Festival en 1972[1].
Il était l'un des rares a ne pas avoir été fortement influencé par le tromboniste Jay Jay Johnson au cours des années 1950[1],[3]. Dans son ouvrage The rough guide to jazz, l'auteur Ian Carr écrit à propos de l'implication de Green dans l'univers du bebop qu'il « a probablement été le premier tromboniste à s'associer avec les beboppers et le premier dont l'oreille lui a permis d'adopter les aspects de leur approche harmonique »[4].
(en) Ian Carr, Digby Fairweather et Brian Priestley, The rough guide to jazz, Londres, Rough Guides, , 927 p. (ISBN1-84353-256-5, présentation en ligne)
(en) Ira Gitler, The masters of bebop : a listener's guide, Da Capo Press, , 306 p. (ISBN0-306-81009-3)
