До прихода европейцев земля, где ныне находится Кармел, была заселена индейцами племени ваппингеров, которые в 1691 году продали её голландским купцам. В 1697 году богатый нью-йоркский купец Адольф Филипс приобрёл здесь землю и получил патент от короля Вильгельма III Оранского на весь земельный участок, который теперь является округом Патнам. Поселенцы, которые начали прибывать сюда в 1720 году, арендовали землю у семьи Филипсов или индейцев[1].
После американской революции нижняя часть округа Датчесс была разделена на несколько новых городов, которые впоследствии стали округом Патнам в 1812 году. Одним из таких городов был Кармел[1].
В начале и середине XIX века Кармел и, в частности, озеро Махопак стали популярным местом отдыха городских жителей. Начиная с 1834 года вдоль берега озера начали строиться отели, пансионаты и коттеджи, что позволило посетителям заниматься купанием, катанием на лодках, катанием на коньках и всевозможными летними и зимними мероприятиями. Отели «Махопак», «Томпсон-Хаус», «Дин-Хаус» и «Форест-Хаус» были одними из самых больших и популярных. В 1870-1880-е гг. через Кармел была проложена железная дорога из Нью-Йорка[1].
В 1898 и 1911 годах были созданы водохранилища Уэст-Бранч и Кротон-Фоллс соответственно[1].
По переписи 2010 года, население Кармела составляло 34 229 человек. По оценке 2019 года, численность снизилась до 34 109 чел. Подавляющее большинство (91,3%) — белые[3].
