Charles Washington(en), plus jeune frère de George Washington, est le fondateur de la ville. Il fit d'abord construire une maison, Happy Retreat, en 1780. En 1786, sur 320 000 m2 de terrains autour, Charles Washington établit les rues de Charles Town, nommant beaucoup d'entre elles du nom de ses frères et de sa femme Mildred. Il fit don des 4 lots aux angles de l'intersection entre les rues Georges et Washington pour la construction d'édifices publics pour la ville et le comté, prévoyant que la nouvelle ville deviendrait le siège d'un nouveau comté séparé du comté de Berkeley. Le comté de Jefferson fut créé en 1801, comme il l'avait anticipé. Le tribunal du comté se tient toujours à l'un de ses angles. La prison fut, elle, remplacée par la poste en 1919.
Charles Washington mourut entre juillet et , peu de temps avant son frère, George. Sa tombe et celle de sa femme Mildred ont récemment été retrouvées près d'Evitts Run et entourées d'un mur de pierre.
Selon l'American Community Survey, pour la période 2011-2015, 87,62 % de la population âgée de plus de 5 ans déclare parler l'anglais à la maison, 8,34 % déclare parler l'espagnol, 0,79 % le tagalog, 0,72 % l'allemand et 2,53 % une autre langue[5].
Frank Buckles (1901-2011), dernier survivant américain de la Première Guerre mondiale
Gary Gregor (né en 1945), ancien basketteur de NBA, né à Charles Town
Martin Delany (1812-1885), abolitionniste américain qui devint le premier Afro-Américain à être promu au rang d’officier dans l’armée de l'Union pendant la guerre de Sécession