Народився в селянській родині. У 1947 році закінчив Осипенківський (Бердянський) сільськогосподарський технікум виноградарства і виноробства Запорізької області.
З 1947 по 1948 рік працював агрономом-садоводом радгоспу № 12 «Тепличний» Сталінського тресту приміських радгоспів Сталінської області. З 1948 року навчався в Херсонському сільськогосподарському інституті імені Цюрупи.
Освіта вища, у 1953 році закінчив агрономічний факультет Херсонського сільськогосподарського інституту імені Цюрупи, за фахом — вчений агроном.
У 1953—1955 роках — на комсомольській роботі: завідувач відділу по роботі серед сільської молоді Херсонського обласного комітету ЛКСМУ, 2-й секретар Херсонського обласного комітету ЛКСМУ.
У 1955—1962 роках — секретар Центрального Комітету ЛКСМУ.
У березні 1962 — січні 1966 року — 2-й секретар Закарпатського обласного комітету КПУ.
7 січня 1966 — 6 жовтня 1972 року — 1-й секретар Ровенського обласного комітету КПУ.
5 жовтня 1972 — 28 березня 1980 року — 1-й секретар Херсонського обласного комітету КПУ.
26 березня — 28 травня 1980 року — 1-й заступник Голови Ради Міністрів Української РСР.
28 травня 1980 — 11 жовтня 1988 року — секретар ЦК Комуністичної партії України, відповідав за аграрну політику.
З 1990 року — голова Селянської спілки України (з дня її створення), з 1998 року — співголова Української аграрної конфедерації.
У листопаді 2015 року Український Інститут національної пам'яті оприлюднив список прізвищ осіб, в тому числі й Івана Мозгового, які займали керівні посади в комуністичній партії, вищих органах влади та управління СРСР, УРСР, інших союзних або автономних радянських республік і причетні до встановлення режиму сталінізму в Україні, який призвів до трагедії українського народу в двадцятому столітті.
Нагороди
три ордени Леніна (26.09.1977; 8.12.1973; 28.09.1987)
