Höller studierte ab 1967 Germanistik und Klassische Philologie an der Universität Salzburg. 1973 wurde er dort mit der Dissertation „Kritik einer literarischen Form: Versuch über Thomas Bernhard“ promoviert. Danach war er als Lektor an der Universität Neapel L’Orientale, Universität Breslau und Universität Montpellier (Université Paul-Valéry) tätig. Ab 1979 war er Lehrbeauftragter am Institut für Germanistik der Universität Salzburg.[1] 1984 habilitierte er sich dort mit der Schrift „Geschichtserfahrung: das Werk Ingeborg Bachmanns von den frühesten Gedichten bis zum Todesarten-Zyklus“. Später lehrte er als außerordentlicher Professor bzw. Universitätsprofessor für Neuere Deutsche Literatur am Institut für Germanistik der Universität Salzburg. 2012 ging er in den Ruhestand.
"Hinter jedem Wort die Gefahr des Verstummens". Sprachproblematik und literarische Tradition in der Ästhetik des Widerstands von Peter Weiss. Als Hrsg. Stuttgart 1988
