Graf war der Sohn des Musiklehrers und Chorleiters Max Albinus Graf und seiner Frau Cäcilie, geborene Koszarek. Er besuchte die Höhere Stadtschule Annen und anschließend das Realgymnasium Witten. Hier hatte er seine ersten darstellerischen Erfolge bei Gedichtvorträgen.
Nach dem Abitur 1942 wurde Robert Graf zum Kriegsdienst an der Ostfront eingezogen. Unmittelbar vor seiner Einberufung sprach er noch bei Saladin Schmitt vor, dem Intendanten des Düsseldorfer Schauspielhauses. Nachdem er auf Grund einer Verwundung am linken Oberarm nicht mehr als Soldat verwendungsfähig war, arbeitete er in der Rüstungsindustrie. 1944 ging Graf als vorübergehend zum Studium abgestellter Infanterist an die Universität München und studierte dort Philosophie, Kunstgeschichte und Theaterwissenschaft.
1946 stellte er den Kontakt zu einer Wanderbühne her und wurde 1947 an das Stadttheater Straubing verpflichtet. 1949 spielte er am nur kurze Zeit existierenden Hessischen Theater der Jugend in Wiesbaden und 1950/51 am Landestheater Salzburg. 1951 nahm er schließlich ein Engagement an den Münchner Kammerspielen an, wo er sich als Mitglied des Ensembles etablierte.
Graf war ab 1952 mit seiner Schauspielkollegin Selma Urfer verheiratet. Zusammen hatten sie drei Kinder, darunter ist der RegisseurDominik Graf, der über seinen Vater zusammen mit Michael Althen den Dokumentarfilm Das Wispern im Berg der Dinge (1997) drehte. 1965 musste Robert Graf sich wegen einer Gefäßkrankheit einen Fuß amputieren lassen. Nur wenig später starb er 42-jährig in seinem Haus in München. Seine Grabstelle befindet sich auf dem Bogenhausener Friedhof in München (Grab Nr. 3-3-59).
C. Bernd Sucher (Hrsg.): Theaterlexikon. Autoren, Regisseure, Schauspieler, Dramaturgen, Bühnenbildner, Kritiker. Von Christine Dössel und Marietta Piekenbrock unter Mitwirkung von Jean-Claude Kuner und C. Bernd Sucher. 2. Auflage. Deutscher Taschenbuch-Verlag, München 1999, ISBN 3-423-03322-3, S. 239 f.