В 1902 году учился на юридическом факультете Варшавского университета. В 1903 присоединился к Бунду. В 1904 году арестован, а затем исключён из университета за участие в революционной демонстрации. Вскоре был освобождён, уехал в Германию, начал изучать политэкономию в Берлинском университете. В 1905 г. вернулся в Варшаву, сотрудничал в партийных периодических изданиях. В 1906—1908 годах учился на юридическом факультете Петербургского университета, по окончании которого переехал в Варшаву. Принимал активное участие в работе Бунда. В 1909 году. вновь арестован, вскоре после освобождения уехал во Францию. Однако в 1910 году Эрлих возвратился в Варшаву и занялся партийной работой.
В 1914 году после начала первой мировой войны переехал в Петроград. Сотрудничал в левой прессе, входил в состав редколлегий бундовских изданий: газеты «Ди Цайт» и еженедельника «Еврейские вести».
В октябре 1918 года уехал в Варшаву. В 1920-30-х гг. был членом ЦК Бунда, одним из лидеров партии, редактором партийного органа — ежедневной газеты «Фольксцайтунг», возглавлял левое крыло партии.
С началом 2-й мировой войны в сентябре 1939 года Эрлих бежал в советскую зону оккупации на восток Польши. 4 октября в Бресте Эрлих был арестован сотрудниками НКВД. В июле — августе 1940 г. Эрлих вместе с Виктором Альтером был обвинён в связях с польской контрразведкой и подпольными организациями Бунда и критике политики советско-германского сотрудничества и приговорён к смертной казни. Однако 27 августа Эрлиху и Альтеру было объявлено о замене смертной казни десятилетним заключением. В ходе допросов Лаврентий Берия предложил им возглавить еврейскую антифашистскую организацию, и 12 сентября они были освобождены. В начале октября 1941 года Эрлих и Альтер направили Сталину письмо с изложением плана создания Еврейского антифашистского комитета в странах антигитлеровской коалиции под председательством Эрлиха.