Використання звання шарфюрер можна прослідкувати з часів Першої світової війни, коли шарфюрером часто називали унтер-офіцера, який командував штурмовою групою під час проведення спеціальних операцій. Як посаду було використано в СА вперше в 1921 році, а званням стало в 1928. Звання шарфюрер було першим унтер-офіцерським званням в СА.
У 1930 році для старших шарфюреров було введене нове звання обершарфюрер СА. Знаки розрізнення шарфюрера СС були спочатку такими ж, як в СА, але були змінені в 1934 при реорганізації структури звань СС, що послідкувала за Ніччю довгих ножів. При цьому старе звання шарфюрер СС стало називатися унтершарфюрер СС, а шарфюрер СС став відповідати званню обершарфюрер СА. Звання труппфюрер СС було замінене на обершарфюрер СС і новому званні гауптшарфюрер СС.