Политработник К. В. Крайнюков, бывший членом Военного совета в армии под командованием Ф. М. Харитонова в 1941—1942 годах, так вспоминал о нём:
Конкретность суждений командующего, ясное понимание причин всех предшествующих неудач невольно внушали уверенность, что 9-й армией руководит твёрдый, умный, хорошо разбирающийся в военном деле человек. Все последующие события подтвердили моё первое впечатление об этом замечательном военачальнике.
— Крайнюков К. В. В боях за Ростов в 1941 году. // Военно-исторический журнал. — 1961. — № 1. — С.70-84.
Его имя носило Ярославское военное пехотное училище. Монумент генералу установлен в городе Рыбинске, скульптор М. Г. Манизер. 6 мая 2007 года на родине Фёдора Михайловича Харитонова на берегу реки Волги в селе Васильевское был воздвигнут памятник в его честь. На доме, где родился Харитонов, установлена мемориальная доска.
Имя Харитонова носят улицы в Ярославле и Рыбинске. Последняя имеет к нему прямое отношение: именно на ней он родился и провёл свои детские годы.
Генералу Ф. М. Харитонову посвящены повесть М. Колосова и одноимённый художественный фильм «Товарищ генерал» (1973) на её основе (в котором фамилия главного героя переделана в Капитонова, но имя и отчество остались прежними — Фёдор Михайлович).