Joseph Marx a été initié à la musique par sa mère. Il a ensuite appris le piano avec Johann Buwas. Pour satisfaire son père, il a suivi des cours de droit à l'Université de Graz, tout en apprenant la philosophie ainsi que la musicologie avec Degner. Son intérêt pour la musique n'avait pas disparu. Ceci a finalement conduit à une rupture avec sa famille, et il a commencé à l'âge de 26 ans son travail de compositeur. Il a écrit en quatre ans, de 1908 à 1912, environ 120 de ses quelque 150 lieder. Marx, qui était considéré comme un excellent pianiste, accompagnait souvent ses lieder. Il subit l'influence de Robert Schumann, Johannes Brahms, Max Reger.
En 1909, il obtient un doctorat sur la théorie de la musique. En 1914 il va à Vienne, où il enseigne à l'Académie nationale, qu'il dirige entre 1922 et 1924. Il devient recteur de la Hochschule für Musik de Vienne (1924-27). Pendant trois ans, il est conseiller du gouvernement turc pour l'enseignement de la musique et pour créer un Conservatoire à Ankara. Il est critique musical au Neues Wiener Journal (1931-38). Après la Seconde Guerre mondiale, il écrit dans le Wiener Zeitung. Il enseigne à Vienne et à l'Université de Graz (1947-57).
Le vaste fonds de sa correspondance déposé à la Bibliothèque nationale autrichienne - Marx avait reçu quelque 15 000 lettres provenant d'environ 3 400 personnes du monde de la musique - nous renseigne sur la lutte qu'a menée Joseph Marx pour la défense de la musique tonale.
Il est, selon Brendan Carroll, un « maître absolu de l'harmonie », dont ses lieder attestent, le rapprochant sur ce point d'Alexandre Scriabine.
