В 1797 году перешёл на гражданскую службу в чине коллежского советника, в ходе служебных разъездов он пишет путевые записки, которые потом станут основой книги[1]. В 1801 году ему присвоен чин статского советника.
В 1802 году П. И. Сумароков назначен членом Комиссии по спорам о землях в Крыму, и опять он пишет о своих путешествиях, подойдя к делу весьма капитально. Он нанимает французского рисовальщика Афанасия де Палдо и мастеров гравёров. До сих пор вторая книга Сумарокова ценнейший текстовый и иллюстративный источник по истории Крыма[1].
В правительственной сфере считался он человеком беспокойным, брюзгливым и неприятно резким. В других, противоположных кружках, напротив того, Сумароков являлся героем самоотвержения, живя скромно, бедно и почти вдовцом. Умная и говорливая пожилая его дочь проживала у каких-то Голицыных, своих родственников[2].
В 1813 году по протекции Сумарокова, на должность новгородского вице-губернатора был назначен Н. Н. Муравьев, который, сойдясь близко с Аракчеевым, начал интриговать против своего начальника. Временщик, владевший в Новгородской губернии усадьбой Грузино, твердил императору, что губернатор Сумароков пьёт. Кикин пытался защитить честь приятеля и разубедить в этом государя, однако безуспешно.
В 1815 году Сумароков посреди ночи получил приказ выехать из губернии, причём был лишен жалованья, а на его место был назначен Н. Н. Муравьев.
С 1815 года состоял при Герольдии.
В 1820 году при финансовой поддержке друзей Сумароков совершил заграничное путешествие, о котором давно мечтал.
В 1821 году был назначен сенатором и получил чин тайного советника.
Сумароков П. И.Старый и новый быт // Москва—Петербург: pro et contra. — М.: Изд-во Русского Христианского гуманитарного института, 2000. — С. 132—176. — 712 с. — (Русский путь). — 2000 экз. — ISBN 5-88812-067-7. (в пер.)
С 1785 года был женат на княжне Марии Васильевне Голицыной (1765—1847), дочери князя Василия Сергеевича Голицына и Варвары Петровны Бутурлиной. Брак этот не был счастливым, по отзыву современницы, Сумароков «был гулякой, а жена его сумасшедшая, у которой иногда даже случались припадки бешенства»[3]. Дети воспитывались в семье её кузена С. Ф. Голицына:
Мария Павловна (1786—01.04.1882[4]), с шести лет жила в доме князя Голицына, который любил её, как родную дочь. После его смерти жила в семье его сына Фёдора. По словам Ф. Ф. Вигеля, «воспитанная с детьми другого пола, она имела и сохранила много ухваток мальчика»[5]. Видевший её в 1817 году граф М. Бутурлин, вспоминал о ней как о «рыжеволосой зрелой девице, которая недурно певала романсы, аккомпанируя себе на фортепиано»[6]. Была близка ко двору великого князя Михаила Павловича и в летние сезоны «царила» в Павловске. С 1840-х годов и до самой смерти жила в доме на ул. Миллионной, где принимала раз в неделю. Скончалась в глубокой старости и была похоронена на городском кладбище при церкви Марии Магдалины в Павловске.
Сергей Павлович (1793—1875), фаворит великого князя Михаила Павловича, генерал-адъютант, считался одним из лучших специалистов по вопросам артиллерии, получил в 1856 году графский титул, переданный впоследствии внуку Феликсу Сумарокову-Эльстону.