Ещё в детстве Холлендер импровизировал на рояле отца. Он стал студентом магистратуры в Штернской консерватории при Энгельберте Хампердинкоме. В юности он часто играл на пианино в кинотеатре немого кино на углу, что в дальнейшем ему помогло отлично импровизировать, аккомпанируя ранее неизвестные ему фильмы.
В 1914 и 1915 годах Фридрих Холлендер находился в Нью-Йорке и Праге. Позже он был освобождён от участия в военных действиях, благодаря родственным связям (дяде Феликсу), поскольку должен был руководить оркестром в театре на Западном фронте. Этот этап, возможно, стал переломным в творческой жизни Холлендера, когда развлечение превратилось в серьёзную музыку.
В 1933 году он вынужден был покинуть нацистскую Германию из-за своего еврейского происхождения и сначала переехал в Париж. В следующем году он эмигрировал в Соединённые Штаты, где написал музыку для более чем ста фильмов. Четырежды номинировался на премию Оскар. Под именем Фредерик Холлендер написал полу-автобиографический роман Those Torn From Earth, изданный в 1941 году, в котором подробно описывается бегство из Германии, которое предприняли многие еврейские представители киноиндустрии после прихода к власти нацистов и введения Нюрнбергских законов.