W wieku XIII wieś, a właściwie jej tereny należały do kasztelanii białogardzkiej. W roku 1286 książę gdański Mściwój II nadał dobra charbrowskie biskupowi włocławskiemu. W 1564 roku wieś została nabyta przez rodzinę Wejherów, a już 40 lat później poprzez małżeństwo właścicielami Charbrowa stali się Krokowscy. Im przypisuje się budowę kościoła, którą ukończono w roku 1669. Wówczas Charbrowo należało już do Somnitzów, którzy piastowali w XVII i XVIII wieku najważniejsze urzędy w powiecie lęborskim. Z czasem drogą koligacji stworzyli jedno z największych latyfundiów w tej części Pomorza. Ostatni z Somnitzów opuścił Charbrowo w 1945 roku. Podobno przed zdobyciem wsi przez wojska radzieckie udało mu się ukryć zbiory swojej potężnej biblioteki, nieodnalezionej do dnia dzisiejszego.[5]
Zabytki
Według rejestru zabytków NID[6] na listę zabytków wpisane są:
kościół pw. św. Józefa, z drugiej poł. XVII, nr rej.: A-189 z 31.10.1960, posiada bielone elewacje, niewielkie prezbiterium i czworoboczną wieżyczkę w połowie wciągniętą w fasadę. Cenny renesansowo-barokowy wystrój[7];
barokowy zespół pałacowy, z drugiej poł. XVII - XX, nr rej.: A-1180 z 21.07.1987:
pałac składa się z dwóch piętrowych skrzydeł, krytych dachem czterospadowym, położonych względem siebie pod kątem 90 stopni. Skrzydło zachodnie z 1660 jest zaznaczone barokowymi szczytami, skrzydło południowe z poł. XIX w. Między nimi ośmioboczna dwupiętrowa wieża kryta hełmem. Nad portykiem z sześcioma kolumnami doryckimi, w którym jest głównym wejściem, znajduje się herb rodziny von Somnitz.
park ze zniszczonym klasycystycznym grobowcem rodowym von Somnitzów[7].
Sport
We wsi działa klub sportowy Chrobry Charbrowo, grający obecnie w słupskiej klasie okręgowej.