Rubinstein[1] começou a tocar piano muito cedo, com apenas três anos. Aos 6 anos tocou em público pela primeira vez. Entrou para o Conservatório de Varsóvia aos oito anos, onde foi aluno de Paderewski e Ludomir Różycki. Prosseguiu seus estudos em Berlim com Heinrich Barth, apresentando um recital em 1900. Em 1906 apresentou-se em Nova Iorque, como solista da Orquestra de Filadélfia. Volta a morar na Europa. Em Paris, atua como professor de piano.
Durante a Primeira Guerra Mundial atua como intérprete militar em Londres. Apresenta-se em duo com o violinista Eugène Ysaÿe. Em 1916 visita a Espanha, onde interpreta composições de Granados e Manuel de Falla. A Fantasia Bética, deste último, é dedicada a Rubinstein. Em 1919 vem ao Brasil, e conhece Villa-Lobos. Interessa-se pelas modernas composições deste e torna-se responsável pela divulgação de suas mais famosas composições. Em sua homenagem Villa-Lobos escreveu seu Rudepoema (1926). Rubinstein também interpretava composições de seu compatriota e amigo Karol Szymanowski. Stravinsky dedicou-lhe os 3 Movimentos de Petruschka (1921), considerada sua mais difícil obra para piano.
Em 1928 conhece Aniela Mlynarski, com quem viria a casar-se em 1932. A partir de então renova sua técnica e depois de algum tempo dedicado a intensivos estudos apresenta-se nos EUA em 1937. Desde então tem sua reputação de grande intérprete assegurada. Nos anos da Segunda Guerra Mundial muda-se para os Estados Unidos e em 1946 obtém cidadania americana. Rubinstein apresentou-se em muitos países, nas Américas, Europa, África, Ásia e Oceania, e tornou-se uma celebridade. Suas gravações, sempre muito bem recebidas, revelam um extenso repertório: Chopin (integral das obras para piano), Schumann, Granados, Falla, Prokofiev, Villa-Lobos e Stravinsky, e música de câmara, além de concertos de Chopin, Brahms, Beethoven, Mozart, Schumann, Grieg, Tchaikovsky, Rachmaninoff e Saint-Saëns. Rubinstein revelava extrema modéstia quando falava de si próprio. Sua personalidade mostrava interesse não apenas em música, mas nos pequenos e refinados momentos de prazer que a vida oferece.
Sua última atuação pública deu-se em 1976, quando já estava com 89 anos, na sala de espetáculos londrinaWigmore Hall, onde tocara pela primeira vez quase 70 anos antes.
A 31 de maio de 1958, foi agraciado com o grau de Oficial da Ordem Militar de Sant'Iago da Espada, de Portugal, tendo sido elevado ao grau de Grande-Oficial da mesma Ordem a 9 de maio de 1972.[3]
No final de sua vida escreveu uma autobiografia em dois volumes: My Young Years (1973) e My Many Years (1980).