У 1923—1925 роках — завідувач відділу, у 1925—1927 роках — секретар Пошехоньє-Володарського повітового комітету комсомолу (ВЛКСМ) Ярославської губернії.
У 1928—1930 роках — завідувач відділу пропаганди і агітації Ярославського губернського комітету ВЛКСМ.
У 1933 році закінчив Московський верстатоінструментальний (верстатобудівний) інститут.
У 1933—1939 роках — інженер, заступник начальника цеху, начальник цеху, начальник відділу технічного контролю, завідувач виробництва, заступник технічного директора Ленінградського верстатобудівного заводу імені Свердлова.
У 1939—1942 роках — головний інженер Краснодарського верстатобудівного заводу імені Сєдіна.
У 1942—1943 роках — заступник головного інженера, в 1943—1946 роках — головний інженер Новосибірського заводу «Тяжстанкогидропресс».
У 1946 — 8 березня 1949 року — заступник міністра верстатобудування СРСР.
8 березня 1949 — 5 березня 1953 року — міністр верстатобудування СРСР.
У березні 1953 — квітні 1954 року — заступник міністра машинобудування СРСР.
19 квітня 1954 — 10 травня 1957 року — міністр верстатобудівної та інструментальної промисловості СРСР.
29 травня 1957 — квітень 1959 року — голова Ради народного господарства (РНГ) Московського обласного економічного адміністративного району.
28 лютого 1959 — 21 січня 1963 року — голова Державного комітету Ради міністрів СРСР з автоматизації та машинобудування — міністр СРСР.
21 січня — 16 квітня 1963 року — голова Державного комітету з автоматизації та машинобудування при Держплані СРСР — міністр СРСР.
16 квітня 1963 — 2 жовтня 1965 року — голова Державного комітету з машинобудування при Держплані СРСР — міністр СРСР.
2 жовтня 1965 — 19 грудня 1980 року — міністр верстатобудівної та інструментальної промисловості СРСР.
Указом Президії Верховної Ради СРСР від 5 жовтня 1976 року за видатні заслуги перед Радянською державою в розвитку верстатобудування й інструментальної промисловості і в зв'язку з сімдесятиріччям з дня народження Костоусову Анатолію Івановичу присвоєно звання Героя Соціалістичної Праці з вручення ордена Леніна і золотої медалі «Серп і Молот».
З грудня 1980 року — персональний пенсіонер союзного значення в Москві.
Помер 22 лютого 1985 року після важкої хвороби. Похований на Новодівочому цвинтарі в Москві (ділянка 10).
