Il étudie la théorie musicale, la composition, le piano à Munich entre 1900 et 1903 ; c'est le wagnérien Felix Mottl et Ludwig Thuille qui lui enseignent la direction de l'Orchestervereins de 1903 à 1904, avant qu'il ne devienne Maître de chapelle au Théâtre et Kapellmeister de la société des amis de la Musique de Lübeck de 1905 à 1911, société soutenue par Ida Boy-Ed, quand il est remplacé par Wilhelm Furtwängler.
En 1911, il est nommé directeur de la musique à Essen, puis chef des Concerts du Gürzenich de Cologne de 1915 à 1934, dirige également le Conservatoire de la ville (1925-1934). Avec cet orchestre, il établit sa réputation dans toute l'Europe et est invité plusieurs fois à diriger l'Orchestre symphonique de l'URSS ou l'Orchestre symphonique de Londres.
Démis de ses fonctions à Cologne en 1934 pour amitié supposée avec les soviétiques, il est nommé à la tête du prestigieux Orchestre du Gewandhaus de Leipzig, en remplacement de Bruno Walter, lui-même démis en raison de ses origines juives. Il réalise un certain nombre d'enregistrements à la tête de l'Orchestre de chambre de Cologne, notamment Vivaldi, Haendel et Mozart. Abendroth occupe ce poste jusqu'en 1945, date à laquelle il quitte également la direction du Conservatoire de Leipzig où il avait été nommé en 1941.
Adhérent du NSDAP, le parti nazi, Abendroth a toujours affirmé n'avoir jamais assisté à aucun rassemblement politique.
Très à l'aise dans le répertoire germanique, Abendroth a laissé des enregistrements des symphonies d'Anton Bruckner particulièrement réussis où il laisse exprimer son sens de la précision dans des tempos pourtant endiablés. Ses lectures, fiévreuses et nerveuses, sont à découvrir grâce à des enregistrements monophoniques de bonne qualité.
