Issu d’une famille noble (les Volkonski de Riourik), Andrei Volkonski reçoit des leçons de musique privées. Son talent de compositeur se manifeste assez tôt : à l’âge de cinq ans, il improvise déjà au piano et ses premières œuvres attirent l’attention de Sergueï Rachmaninov. Dinu Lipatti qui enseigne le piano au jeune André loue sa maîtrise. En 1947, la famille s'installe en Union soviétique où André fait ses études au collège musical de Tambov puis au Conservatoire de Moscou dans la classe de composition de Iouri Chaporine. En 1954, il quitte le conservatoire sans en avoir obtenu le diplôme.
Son style de composition se forme sous l’influence d’Igor Stravinsky et de Sergueï Prokofiev, mais, vers la fin des années 1950, il se tourne vers l’avant-garde. Son cycle pour piano, Musica stricta (1956), est la première œuvre sérielle en musique russe. Ce cycle est proche de la Suite op. 25 pour piano d’Arnold Schoenberg ; il comporte quatre mouvements dont trois sont de forme polyphonique (d’où le sous-titre fantasia ricercata). Une autre œuvre de cette période, la Suite des miroirs, pour soprano et ensemble, repose sur la série octatonique et fait écho à des œuvres comme Le Marteau sans maître de Pierre Boulez. Ces compositions marquent le début de l’avant-garde musicale soviétique d’après-guerre. Le langage musical de Volkonski ne suit pas la politique officielle du réalisme socialiste et leur exécution est pratiquement interdite. Le Concerto itinérant écrit en 1967 n’a été créé qu’en 1990. Ses musiques de films : La Saison morte, Trois plus deux entre autres sont cependant bien reçues.
Dans le même temps, Volkonski fait avec succès une carrière de claveciniste concertiste. Il collabore avec l’Orchestre de chambre de Moscou sous la direction de Roudolf Barchaï et, en 1964, il fonde l’ensemble de musique ancienne Madrigal qui obtient une grande popularité et parmi les membres duquel on note la présence d'Alekseï Lioubimov, Boris Berman, Mark Pekarski. C’est avec cet ensemble que Volkonski réalise les enregistrements de musique vocale et instrumentale de l’époque de la Renaissance jusqu’au XVIIIe siècle. Comme claveciniste, il enregistre les œuvres de Girolamo Frescobaldi, Jean-Sébastien Bach et d’autres compositeurs.
En 1973, Volkonski émigre et s’installe en Provence où il reste jusqu’à la fin de sa vie. À cette époque, il compose peu, principalement des œuvres de musique de chambre, mais continue ses activités d’interprète en fondant l’ensemble Hoc opus en 1981 et en donnant des concerts en France, Allemagne, Suisse, Italie, Finlande... En 1983, il enregistre Le Clavier bien tempéré au clavecin pour le label indépendant marseillais Lyrinx de René Gambini.
