Окончил трёхклассное Каркаралинское городское училище. В 1905—1912 годах учился в Семипалатинской мужской гимназии. После успешного окончания гимназии поступил в Томский технологический институт[4].
В 1917 году, будучи студентом пятого курса, оставил учёбу и отправился в Семипалатинск, где сблизился с Алиханом Букейхановым[2]. Ермеков стал членом партии «Алаш», и на 2-м съезде этой партии 5—13 декабря 1917 года в Оренбурге он был избран в состав Народного совета Алашской автономии[1]. Весной 1918 года принимал участие в переговорах по прямому телеграфу с В. И. Лениным и И. В. Сталиным по вопросу признания Алашской автономии[2][5]. В 1920 году в качестве члена Киргизского ЦИК делегирован в Москву, где был на приеме у В. И. Ленина с докладом «О положении Киргизского края вообще, и по вопросу о границах, в особенности». Распространено мнение что по результатам этой дискуссии в состав Казахстана вошёл ряд территорий, среди которых северное побережье Каспийского моря, Акмолинская и Семипалатинская области[2][5][4].
Однако сам Ермеков писал в своих мемуарах[6], что «в Оренбурге о присоединении двух областей — Семипалатинской и Акмолинской ведению Кирвоенревкома обсуждался на его заседании с участием всех членов. При обсуждении был поднят вопрос об учреждении и границах будущей автономной республики с включением в её состав всех областей Киргизского края». То есть, вопрос о включении Семипалатинской и Акмолинской областей решался не в Москве, а в Оренбурге на заседании Кирвоенревкома. Ермеков физически не мог отстаивать территории, которые планировали включить в состав КирАССР (КазАССР) на основании принципа большевиков о самоопределении нации и решения высшего органа государственной власти будущей Казахской республики: Кирвоенревкома.
Ермеков был командирован в Москву с мандатом № 2043 от 18 мая 1920 года с целью выступить с докладом на тему: «О положении Киргизского края вообще, по вопросу о границе в особенности». Приступая к изложению своего доклада, Ермеков подчеркнул личные качества Ленина и особо выделял заботу и внимание вождя Октябрьской Революции к малым народам, которые заслуживали собственные автономные образования. В своём докладе он уделил особое внимание вопросу о земельном устройстве в Казахском крае, отмечая, что лучшие земельные участники у казахов изымались в пользу переселенцев из России, а также в пользу скотопромышленников и владельцев монастырей[6].
Далее в своих воспоминаниях Ермеков продолжал:
"На заседании комиссии при определении границ нашей республики я внёс предложение о включении так называемой одноверстной полосы к северу от Каспийского моря, о которой мы говорили выше, в границы нашей республики, изъяв её из подчинения Астраханской губернии. Это моё предложение вызвало на совещании резкое возражение. Многие руководители, в том числе Лежава, Брюханов, председатель Астраханского губисполкома (фамилию которого я не помню) выступали против, мотивируя главным образом тем, что за счёт рыб Каспия питается население Москвы, страна испытывает острые продовольственные затруднения. Владимир Ильич обратился ко мне с ободряющим жестом и со словами: «Наши экономисты высказались. Подробно и решительно, не смущаясь, совершенно свободно высказывайте свою точку зрения, теперь слово принадлежит Вам». Далее, Ленин поставил данный вопрос на голосование и первым отдал свой голос за включение одноверстной полосы к северу от Каспийского моря, о которой мы говорили выше, в границы Казахской республики, изъяв её из подчинения Астраханской губернии[6].
Фактически, Ермеков сделал предложение об изъятии северной береговой полосы Каспия, шириной в 1,06 километра, принадлежавшей Астраханской губернии, но речи и не шло о возращении таких территорий как Коростылевская степь, Семипалатинская, Акмолинская области, а также западных территорий в целом.
Так же из воспоминаний Алимхана Ермекова следует, что он, один из активных деятелей движения «Алаш», стал убеждённым коммунистом и верой и правдой служил социалистическому строительству в Казахстане:
«Мое отношение к советской власти принципиально определилось еще в 1920 г. на основе вставшей передо мной в то время дилеммы: или стоять за капитализм, стало быть, поддерживать господство империализма, с неизбежным тогда сохранением колоний и полуколоний, угнетением отсталых народов, или защищать социализм, уничтожающий в корне и рабство колониальных и полуколониальных отсталых народов. На опыте колчаковщины я убедился, что организующими, определяющими результат борьбы, в конечном счете, силами революции являются или пролетариат, или буржуазия, и отсюда неизбежны или диктатура пролетариата, или диктатура буржуазии. Этим предрешалось мое сочувствие и переход на сторону советской власти»[7].
Выписка из протокола Атестационной комиссии «Об утверждении А.Ермекова в звании профессора»
В 1921 году основал в Каркаралинске двухступенчатую школу и педагогический техникум. Был директором и преподавателем математики в этой школе с 1921 по 1924 год[2]. В 1923 году окончил Томский политехнический институт[1], получив диплом горного инженера и специальность геологоразведчика[4]. В 1924—1925 годах преподавал в педагогическом техникуме в Семипалатинске[2]. В 1926—1928 годах работал в Казахском высшем педагогическом институте в Ташкенте.
С 1937 года — заведующий кафедрой математики Куйбышевского планового института[4]. В 1930-х годах активно занимался разработкой учебных пособий по математике на казахском языке[2].
В 1948 году вновь арестован и осуждён на десять лет. Освободился в 1955 году и до выхода на пенсию в 1958 году работал в Карагандинском горном институте[2].
А.Ермеков с супругой, сыном и гувернанткой, 1925 год
Сын — Магавья Алимханович Ермеков (1921 – 2006) — ученый, доктор геолого-минерологических наук, профессор, член-корреспондент АН КазССР, академик НАН РК[2].
