Народився в селі Огіївці Сквирського повіту Київської губернії в селянській родині. Після закінчення семирічної школи, у 1934 році влаштувався на роботу інструктором-масовиком багатотиражної газети політичного відділу машинно-тракторної станції (МТС), працював літературним працівником у районних газетах Житомирщини і Київщини.
У Червоній армії з 1936 року. У 1939 році закінчив Київське військове училище зв'язку імені Калініна, після чого служив у органах військової контррозвідки. Вищу освіту отримав пізніше, закінчивши у 1960 році заочно Вищу школу КДБ при Раді Міністрів СРСР.
У органах держбезпеки СРСР з березня 1939 року. Служив помічником оперативного уповноваженого особливого відділу НКВС Уральського військового округу, з червня 1939 року — заступник начальника особливого відділу НКВС 82-ї мотострілецької дивізії в Забайкальському військовому окрузі. На цій посаді брав участь у бойових діях на річці Халхін-Гол (1939) і у німецько-радянській війні, коли дивізія в жовтні 1941 року була перекинута на Західний фронт в 5-у армію, що воювала на Можайському напрямі.
У боях під Можайськом був важко поранений в кістку, але після лікування повернувся на службу. З березня 1942 року — начальник особливого відділу НКВС 92-ї танкової бригади на Калінінському, Західному і Північно-Кавказькому фронтах. З вересня 1943 року — заступник начальника відділу контррозвідки СМЕРШ (з 1946 — МДБ СРСР) Ярославського, з 1944 року — Калінінського гарнізонів.
У лютому 1949 року призначений начальником відділу Управління особливих відділів МДБ СРСР по Московському військовому округу(МВО), з грудня 1950 року — начальник відділу Управління особливих відділів МДБ СРСР по Центральній групі військ в Австрії. У 1954 році став заступником начальника очолюваного ним раніше відділу. З липня 1955 року — заступник начальника, з 1958 року — начальник особливого відділу КДБ по Московському військовому округу. У лютому 1963 року став заступником начальника, а в лютому 1966 року — начальником Управління особливих відділів КДБ СРСР Групи радянських військ в Німеччині.
З лютого 1967 по 1970 рік — начальник 3-го Головного управління КДБ СРСР (військова контррозвідка) при Раді Міністрів СРСР.
З 18 липня 1970 по травень 1982 року — голова КДБ при Раді Міністрів Української РСР і член Колегії КДБ СРСР.
З 26 травня по 17 грудня 1982 року — голова КДБ СРСР.
Указом Президії Верховної Ради СРСР від 17 грудня 1982 року був призначений міністром внутрішніх справ СРСР із звільненням від обов'язків голови КДБ СРСР; того ж дня йому було присвоєно військове звання генерал армії. На посаді міністра змінив Щолокова, проти якого було порушено кримінальну справу. У січні 1986 року був звільнений Горбачовим від міністерської посади і зарахований військовим інспектором-радником в Групу генеральних інспекторів Міністерства оборони СРСР, ліквідовану в 1992 році. Тоді ж був звільнений у відставку.
Звільнення переніс важко. У нього був великий інсульт, два тижні він лежав у безпам'ятності. І повністю здоров'я не відновилося. Помер у Москві 29 лютого 2008 року після важкої тривалої хвороби. Похований на Головінському кладовище Москви.