Zarębski studiował w Konserwatorium Wiedeńskim, które ukończył w 1872 ze złotymi medalami w klasie kompozycji (u Franza Krenna) i fortepianu (u Josefa Dachsa). Kontynuował studia w Konserwatorium Petersburskim, którego dyplom uzyskał w przeciągu zaledwie 3 miesięcy w 1873. W 1874 udał się do Rzymu gdzie przez rok studiował pod kierunkiem Liszta, stawszy się jego ulubionym uczniem. Jemu to właśnie Zarębski zadedykuje swoje najwybitniejsze dzieło, Kwintet fortepianowy g-moll op. 34 (1885), napisane na krótko przed swoją śmiercią na gruźlicę w wieku zaledwie 31 lat.
Od 30 stycznia 1880 do śmierci pięć lat później pracuje na stanowisku profesora Konserwatorium w Brukseli. Podczas Wystawy w Paryżu w 1878 zachwyca publiczność grą na fortepianie o dwóch klawiaturach.
W roku 1879 ożenił się z pianistką niemiecką Johanną Wenzel, również uczennicą Liszta, późniejszą Janiną Zarębską (zm. 1928).
Od koncertów w Odessie i Kijowie wiosną 1874 rozpoczyna swoją karierę pianisty-wirtuoza. Z wielkim sukcesem koncertuje w wielu innych miastach Europy, m.in. w Rzymie, Neapolu, Konstantynopolu, Warszawie, Paryżu i Londynie.
Zarębski był jednym z bardziej oryginalnych kompozytorów polskich 2 połowy XIX wieku. Jego kompozycje na fortepian, poza widocznymi wpływami Liszta, wskazują na rozwój niektórych technik kompozytorskich Chopina, szczególnie w twórczym sposobie wykorzystania motywów ludowych, a cykl fortepianowy Róże i ciernie op. 13 zapowiada fakturę fortepianową impresjonizmu. Największym jednak jego osiągnięciem kompozytorskim jest napisany na krótko przed śmiercią Kwintet fortepianowy g-moll op. 34. Fakt, że Kwintet do roku 1931 pozostawał nieopublikowany, przyczynił się do tego, że utwór ten nie zajął należnego mu miejsca w repertuarze światowej muzyki kameralnej.
Gdy w 1877 roku Aleksandr Borodin odwiedził Liszta, zapoznał się również z Zarębskim. Oto fragmenty jego listów opisujące Zarębskiego:
„Zarębski podszedł do mnie i począł prawić mi różne komplementy na temat mojej symfonii. Mówił po rosyjsku z silnym polskim akcentem. Była z nim jego narzeczona, berlinianka, również pianistka, bardzo ładniutka, ale nieprawdopodobna kokietka. Oboje ubrani niezwykle cudacznie, w oryginalne kostiumy, w kapeluszach o zdumiewającym fasonie, z długimi rozpuszczonymi włosami – stanowili widowisko krańcowo dziwne.”
„Jako pianista Zarębski jest diabelnie utalentowany, ale również i jako kompozytor. W ogóle czeka go olśniewająca przyszłość.”
2 morceaux en forme de mazurka, pf 4 ręce, op. 5 (Berlin 1881).
Grande polonaise, F, op. 6 (Berlin 1881).
3 études de concert op. 7 (Moguncja 1881).
Mazurek koncertowy c-moll op. 8 (Moguncja 1882).
Fantaisie polonaise op. 9, ok. 1877 (Moguncja 1882).
Polonaise mélancolique op. 10 (Moguncja 1882).
Polonaise triomphale, pf 4 ręce, op. 11 (Moguncja 1882), także instrumentacja na orkiestrę (patrz niżej).
Divertissement à la polonaise, pf 4 ręce, op. 12 (Moguncja 1883).
Les roses et les épines (Róże i ciernie) op. 13 (Moguncja 1883).
impromptu-caprice op. 14 (Lipsk 1883).
Mazurka de concert no.2 g-moll op. 15 (Lipsk 1883).
Suite polonaise op. 16 (Lipsk 1883).
Valse sentimentale op. 17 (Lipsk 1884).
Ballade g-moll op. 18 (Wrocław 1884).
Novellette-caprice op. 19 (Wrocław 1884).
Sérénade burlesque op. 20 (Wrocław 1884).
Berceuse op. 22 (Lipsk 1884).
A travers Pologne, pf 4 ręce, op. 23 (Wrocław 1884).
Valse-caprice op. 24 (Lipsk 1884).
Tarantelle op. 25 (Lipsk ?1885).
Sérénade espagnole op. 26 (Lipsk 1883).
Etrennes op. 27 (Wrocław 1885).
Polonaise op. 28 (Lipsk 1885).
Gavotte op. 29 (Lipsk 1885).
Valse op. 30 (Lipsk 1885).
Barcarolle op. 31 (Lipsk 1885).
Menuet op. 32 (Moguncja 1885).
pozostałe
Polonaise triomphale A-dur op. 11 (1882), instrumentacja fortepianowego utworu pod tym samym tytułem na wielką orkiestrę symfoniczną, z tym samym numerem opusowym (jedyny utwór orkiestrowy kompozytora, niedawno odkryty; prawykonanie odbyło się 9 listopada2006 w Krakowie, podczas Festiwalu Kompozytorów Polskich).
Pieśni:
Wilija, naszych strumieni rodzica (sł. A. Mickiewiczzaginiona).
Te rozkwitłe świeże drzewa (sł. A. Mickiewicz), BN.