Народився в Берліні в родині виробника мила Роберта Гірша (1856—1913) та його дружини Анни Леманн, онуки гамбурзького художника-портретиста Лео Лемана[de]. Внук по батькові патологоанатома та історика медицини Августа Гірша[de]. 1913 року компанія батька збанкрутувала, а Роберт Гірш вчинив самогубство. Курта відправили в школу-інтернат у Франкфурті-на-Одері.
Після школи вивчав математику та філософію в Університеті Фрідріха Вільгельма в Берліні. Навчання фінансувалося за рахунок стипендії, яку він отримував завдяки попередній посаді свого діда в цьому університеті. Його навчали Людвіг Бібербах, Ріхард фон Мізес, Ісай Шур[de] та Ерхард Шмідт. 1933 року захистив докторську дисертацію під керівництвом Макса Дессуара[de] про суперечку між інтуїтивістами навколо Брауера та формалістами навколо Девіда Гільберта (Інтуїція та логічна форма. Про сучасну філософію математики)[7]. Дисертацію подав 1930 року і того ж року склав іспит, але лише 1933 року зміг фінансово дозволити собі друк, необхідний для отримання докторського ступеня.
Від 1928 року, крім математичних досліджень, працював науковим журналістом для Vossische Zeitung. У цей час у математичній галузі особливо зацікавився роботами Еммі Нетер і Отто Шраєра[de], тому вирішив звернутися до теорії груп.
Навесні 1933 року, після приходу до влади націонал-соціалістів, перед Гіршем постала політична проблема: від 1928 року він був одружений із єврейкою, навернувся заради неї до єврейської віри і, згідно з визначенням націонал-соціалістів, також вважався євреєм через своїх єврейських предків. Після того, як у березні 1934 року набув чинності націонал-соціалістичний редакційний акт[de], Vossische Zeitung була змушена припинити видання, і Гірш втратив роботу. Того ж року з дружиною та двома маленькими дітьми емігрував до Великої Британії, де мав далеких родичів.
Після еміграції націонал-соціалістичні поліцейські органи класифікували Гірша як ворога держави: навесні 1940 року Головне управління безпеки Райху в Берліні внесло його до "Чорної книги"[de], списку осіб, за якими нацисти стежили, оскільки ввавжали супротивниками режиму, і яких, у разі успішного вторгнення та окупації Британських островів, зондеркоманди СС мали виявити й заарештувати з особливим пріоритетом[8].
Після початку Другої світової війни Гірша 1940 року ненадовго інтернували на острів Мен — оскільки він все ще формально був громадянином Німеччини — як громадянина ворожої держави, де він працював кухарем. Після звільнення повернувся до Лестера. 1947 року Курт і Ельза Гірш отримали британське громадянство[en].
У 1948 році став професором у Королівському коледжі в Ньюкасл-апон-Тайн (пізніше Ньюкаслський університет). Там почав перекладати з російської на англійську підручник Олександра Куроша з теорії груп, перший том якого вийшов 1955 року. Потім перекладав інші праці російських математиків[9]. Його власні публікації стосувалися переважно теорії груп; крім поліциклічних досліджень, він також проводив дослідження нільпотентних і абелевих груп.
Від 1928 року був одруженим із Ельзою Брюль, з якою мав сина та дочку. Захоплювався шахами, виграв кілька чемпіонатів англійського округу, і все життя був кулінаром-аматором.