У дорослому футболі дебютував 1985 року виступами за команду клубу «Рапід» (Відень), в якій провів три сезони, взявши участь у 55 матчах чемпіонату. За цей час двічі виборював титул чемпіона Австрії і один національний кубок.
Влітку 1991 року перейшов у «Форвартс-Штайр», де провів три роки, після чого половину сезону у 1994 році провів за німецький «Ганновер 96» у Другій Бундеслізі, де не закріпився і повернувся в рідний «Рапід» (Відень). Цього разу відіграв за віденську команду наступні п'ять сезонів своєї ігрової кар'єри і додав до переліку своїх трофеїв ще один титул чемпіона Австрії, а також допоміг клубу дійти до фіналу Кубка володарів Кубків УЄФА 1996 року, в якому австрійці поступилися 0:1 французькому «Парі Сен-Жермену».
Завершив професійну ігрову кар'єру у клубі другого дивізіону Австрії «Каринтія», за команду якого виступав протягом 2000—2001 років, вигрвавши в останньому сезоні Кубок Австрії, що став історичним першим національним трофеєм в історії команди.
Виступи за збірну
24 квітня 1996 року дебютував в офіційних матчах у складі національної збірної Австрії в товариській грі з Угорщиною (2:0).
У складі збірної був учасником чемпіонату світу 1998 року у Франції, втім на поле на турнірі не виходив. А вже у жовтні того ж року провів свій останній матч за збірну. Всього протягом кар'єри у національній команді, яка тривала 3 роки, провів у формі головної команди країни 11 матчів, забивши 1 гол.
Кар'єра тренера
Розпочав тренерську кар'єру відразу ж по завершенні кар'єри гравця, 2001 року, увійшовши в тренерський штаб свого співвітчизника Геріберта Вебера у німецькому клубі «Саарбрюкен», разом з яким наступного року і покинув команду. Після цього тренував молодіжну команду рідного «Рапіда».
Першим же повноцінним тренерським дебютом стала робота з клубом «Аустрія» (Лустенау), який Гераф очолював у 2003—2005 роках.
Влітку 2005 року очолив «Шваненштадт», втім у січні 2006 року перейшов на роботу у «Пашинг». Втім через невдалі результати вже у березні того ж року був замінений на Дітмара Константіні і у вересні знову очолив «Шваненштадт», а у сезоні 2007/08 тренував «Парндорф».
З липня 2008 року по липень 2017 року Гераф тренував юнацькі збірні Австрії різних вікових категорій (від U-16 до U-20, змінюючи їх разом із гравцями). Крім того Гераф був коментатором на телеканалі Sky Austria, де він був відповідальним за ігри другого за рівнем дивізіону країни.
24 серпня 2017 року Футбольна асоціація Нової Зеландії оголосила, що Гераф обійме посаду технічного директора, а 3 листопада 2017 року він також став тренером національної жіночої збірної Нової Зеландії[1]. 20 червня 2018 року, після скарг 13-ти футболісток, що відмовились виступати у збірній під керівництвом Герафа через «цькування, залякування та культуру страху»[2], федерація відсторонила тренера і розпочала внутрішнє розслідування[3], а 31 липня 2018 року Андреас оголосив про свою відставку з обох посад у федерації[4].
