КРПГ был основан 1 апреля 1920 года членами левого крыла Коммунистической партии Германии (КПГ), исключенными на Гейдельбергском партийном съезде КПГ (20—23 октября 1919) центральным руководством под руководством Пауля Леви. Многие из них были активистами в группе Интернациональных коммунистов Германии до основания КПГ. Её главной целью была немедленная ликвидация буржуазной демократии и установление диктатуры пролетариата, отказ от однопартийной диктатуры в русском стиле. КРПГ, в отличие от КПГ, отвергала, в частности, ленинскую организационную форму то есть демократический централизм, участие в выборах и участие в реформистских профсоюзах. Голландские коммунисты-теоретики Антон Паннекук и Герман Гортер сыграли важную роль для КРПГ, которые, следуя модели КРПГ в Нидерландах, основали КРПН, которая, по общему признанию, так и не достигла значения своей братской партии в Германии.
Предысторией основания КРПГ был путч Каппа. По мнению левого крыла КПГ, он показал, что поведение партийного руководства КПГ было равносильно отказу от революционной борьбы, поскольку КПГ заняла несколько раз менявшуюся позицию в отношении всеобщей забастовки и в Билефельдское соглашение от 24 марта 1920 г. о разоружении Рурской Красной Армии согласился. 3 апреля 1920 года берлинская окружная группа созвала съезд левой оппозиции. Там было решено учредить «Коммунистическую рабочую партию Германии». По оценкам, делегаты представляли 80 000 членов КПГ. Новообразованная партия выступала за отказ от парламентской деятельности и активную борьбу против буржуазного государства. Затем она тесно сотрудничала с AAUD. Опорные пункты партии находились в Берлине, Гамбурге, Бремене и Восточной Саксонии, где к новой партии присоединилось большинство членов КПГ.
В 1921 году КРПГ снова сотрудничала с КПГ в мартовской акции. Это было вызвано вторжением войск из Веймарской республики в промышленную зону Центральной Германии, при этом КРПГ и КПГ опасались, что военные хотят занять заводы.
После 1921 года, когда в КРПГ все ещё насчитывалось 43 000 членов, партия теряла все большее значение и в 1922 году раскололась на «берлинское направление» и «эссенское направление» вокруг Александра Шваба, Артура Гольдштейна, Бернхарда Райхенбаха и Карла Шредера. Основной причиной был отказ жителей Эссена принимать участие в повседневной борьбе компании в ситуации, которая считалась революционной.
Основание Коммунистического рабочего интернационала (КАИ) в 1922 г. КРПГ «эссенского направления» («берлинское направление» отвергло этот шаг как преждевременный), вместе с группами вокруг Германа Гортера в Нидерландах, вокруг Сильвии Панкхерст в Великобритания и другие группы в Бельгии, Болгарии и среди изгнанников из Советского Союза не имели большого успеха. KAI, в секретариате которого доминировала немецкая секция, распалась к 1925 году.
В 1926/1927 произошло кратковременное слияние КРПГ (берлинское направление) с Решающими левыми вокруг исключенного из КПГ депутата Эрнста Шварца. Это слияние привело к дальнейшему расколу внутри КРПГ, поскольку Шварц не отказался от своего места в качестве члена парламента, как того требовало меньшинство членов, которые после выхода из КРПГ сгруппировались вокруг журнала «Вулкан».
Hans Manfred Bock: Syndikalismus und Linkskommunismus von 1918–1923. Zur Geschichte und Soziologie der Freien Arbeiter-Union Deutschlands (Syndikalisten), der Allgemeinen Arbeiter-Union Deutschlands und der Kommunistischen Arbeiter-Partei Deutschlands (= Marburger Abhandlungen zur Politischen Wissenschaft. Bd. 13, ISSN0542-6480). Hain, Meisenheim am Glan 1969 (Zugleich: Marburg, Universität, Dissertation, 1968).
Hans Manfred Bock: Geschichte des „linken Radikalismus“ in Deutschland. Ein Versuch (= Edition Suhrkamp 645). Suhrkamp, Frankfurt am Main 1976, ISBN 3-518-00645-2.