Grove föddes i Clapham och studerade först till civilingenjör och arbetade i två år i en fabrik nära Glasgow. Han var släkt med Edith M. Bratt som var gift med J.R.R. Tolkien.[1] Mellan 1841 och 1845 arbetade han i Västindien och monterade fyrar i Jamaica och Bermuda. 1849 blev han sekreterare i Society of Arts och 1852 i Kristallpalatset. I dessa befattningar fick han utlopp för sitt intresse och entusiasm för musik och han lade all möda och inflytande på att marknadsföra den bästa musiken av alla slag vid de regelbundna konserterna i Sydenham dit Kristallpalatsets flyttats efter den stora världsutställningen i Hyde Park 1851. Konsertserierna var en väl inarbetad tradition under ledning av dirigenten August Manns.
Utan Grove skulle Manns inte ha lyckats uppmuntra unga tonsättare och ge den brittiska publiken musikundervisning. Den analys av Beethovens symfonier som Grove gjorde, och presenterade vid konserterna, kom att bli standard för hur detta skulle göras. Det var som ett resultat av detta, och det faktum att han också var redaktör på tidningen Macmillan's Magazine mellan 1868 och 1883, som idén till det berömda Dictionary of Music and Musicians, publicerat 1878–1880, växte fram och förverkligades. Hans egna artiklar om Beethoven Mendelssohn och Schubert är monument över ett särskilt slags kunskap, även om resten av boken är ojämn.
Långt tidigare hade Grove bidragit till Dictionary of the Bible och hade också stött grundandet av Palestine Exploration Fund, ett sällskap bildat av bibliska arkeologer och präster. Vid en resa till Wien i sällskap med sin vän Sir Arthur Sullivan, fann de ett stort antal okända verk av Schubert, bland annat musiken till Rosamunda. När Royal College of Music grundades 1882 blev han dess förste chef och upphöjd till riddare. Han byggde upp den nya institutionen i nivå med övriga europeiska konservatorier. När de nya byggnaderna invigts 1894 avgick han som chef, men fortsatte sitt engagemang för skolan under hela sitt liv. Han dog i Sydenham och ligger begravd på Brockley and Ladywell Cemeteries.
