В 1851 году командирован на Кавказ и был в разных экспедициях в Чечне и Дагестане; отличился в бою под Ахалцихом 14 ноября 1853 года.
В конце 1854 года Циммерман был послан в распоряжение главнокомандующего войсками в Крыму и, назначенный помощником начальника штаба севастопольского гарнизона, участвовал во всех выдающихся делах. 6 (18) июня 1855 получил ранение правой ноги и паховой области в результате разрыва бомбы. По результатам Крымской кампании получил чин полковника.
В 1860 году назначен командующим войсками в Заилийском крае, успешно действовал против кокандцев, разрушил их укрепление Токмак. 4 сентября 1860 года после 5-дневной осады взял Пишпек. За победы над кокандцами получил чин генерал-майора.
В 1862 году был назначен начальником штаба Виленского военного округа. Принимал участие в усмирении польского мятежа. Командовал 4-й пехотной и 2-й гренадерской дивизиями.
В 1868 году получил чин генерал-лейтенанта.
При начале турецкой войны 1877—1878 гг. Циммерман получил в командование 14-й корпус, назначенный для действий на Нижнем Дунае и в Добрудже; отряд его прежде всех других переправился через Дунай в районе Галаца, и затем в течение всей кампании охранял русское левое крыло, демонстрируя против восточного фронта четырёхугольника турецких крепостей. 27 января 1878 года войска генерала Циммермана освободили город Добрич[1].
После войны был назначен членом Военного совета.
А. Э. Циммерман. Воспоминания. Отрывки. Публикация В. В. Кюнтцеля (Лѣтопись Историко-родословнаго общества в Москвѣ, Объёмы 4-5. Выпуск 4-5 (48-49). Москва, 1997. С. 61-68).
Циммерман А. Э. Из воспоминаний А. Э. Циммермана / Публикации и комментарии Б. Ф. Егорова // Общественная мысль в России XIX века. Л., 1986. С. 229—233. (Труды /АН СССР. Институт истории СССР. Ленинградское отделение; Вып. 16). — В статье: Мемуары о петрашевцах.