Weber studiò medicina all'Università di Wittenberg. Nel 1818 ebbe l'incarico di professore associato di anatomia comparativa all'Università di Lipsia, dove divenne professore associato di anatomia e fisiologia nel 1821.
Nel 1866 Weber si ritirò dalla cattedra di fisiologia e anche da quella di anatomia nel 1871. Proprio in questo periodo lui e suo fratello, Eduard Friedrich Weber, scoprirono il potere inibitore del nervo vago.