Починаючи з пізнього середньовіччя — Нового часу, фельдфебелі були ротними унтерофіцерами для особливих завдань і вважалися одним із старших унтер-офіцерських звань. В німецьких збройних силах фельфебель зазвичай був помічником або ад'ютантом командира роти — капітана (гауптмана). Вже в 15 ст. фельдфебелі виконували важливі обов'язки в війську — вони призначалися капітанами, проти «вебелів» (бригадирів), яких вибирали з свого осередку самі солдати-найманці (ландскнехти) для представництва та захисту солдатських інтересів перед офіцерством.
Колом завдань фельфебелів, як помічників офіцера, була відповідальність за підтримання бойового порядку, поведінка в бою та дотримання вибраної тактики бою.
У російській імператорській армії звання «фельдфебель» було запозичено з Німеччини, де воно зустрічається з XV ст. у ландскнехті. Це військове звання введене в ході реформ Петра I в 1722 році, одночасно з введенням у дію Табелі про ранги. До 1826 року звання було вищим для унтер-офіцерів, потім стало вважатися нижче за підпрапорщика. Фельдфебелі так званої «старої» гвардії до реформи 1826 років відносилися до XIII, потім XIV класу по Табелі, проте вони обер-офіцерами не вважалися, але при цьому могли бути випущені в армію підпоручниками або прапорщиками відповідно. У кожній роті XIX ст знаходилося по одному фельдфебелеві; відповідне звання в кавалерії — вахмістр. Аж до своєї ліквідації це звання було нерозривне від однойменної посади (батальйонного або полкового фельдфебеля роти, тобто старшини); воно присвоювалося унтер-офіцерам лише за умови зайняття ним цієї посади; якщо ж надалі фельдфебелеві надавалися вищі звання, то на погонах підпрапорщика або зауряд-прапорщика він продовжував носити і лички фельдфебелів.
Німеччина
Погони фельдфебелів Народної Національної Армії НДР
У піхоті Австро-угорської армії фельдфебель (нім.Feldwebel, угор.Őrmester) військове звання унтерофіцерського класу. У кавалерії йому відповідало звання — вахмістр, в артилерії — феєрверкер, в гірськострілецьких частинах — оберєгер.
Знаками розрізнення були петлиці з трьома білими шестипроменевими зірками. Петлиця мала облямівку у вигляді 13-міліметрового імперського жовтого шовкового галуну
