Le site est un lieu de nombreuses fouilles du Paléolithique supérieur. La culture est appelée par les historiens de la culture d'Ahrensburg.
La ville remonte au XIIIe siècle, lorsque le comte de Holstein a fondé le village de Woldenhorn (qui devint plus tard la ville d'Ahrensburg) et les villages voisins Ahrensfelde, Meilsdorf et Beimoor.
L'« Arx Arnsburga », également appelée château d'Arnesvelde, a été construit autour de l'an 1200. Les ruines du château sont encore visibles dans la forêt de Hagen au sud de la ville. Le blason de la ville représente ce château dans le champ supérieur.
Après la dissolution des monastères du fait de la Réforme, l'ensemble du domaine est entré en possession du roi du Danemark. Il récompensait ainsi son général Daniel Rantzau avec une seigneurie sur ces villages. Son frère et héritier Pierre Rantzau construit une résidence Renaissance, sous la forme d'un château d'eau le château d'Ahrensburg ainsi que l'église du château vers 1595. Celui-ci est devenu le symbole de la ville.
Le domaine des Rantzau est lourdement endetté au milieu du XVIIIe siècle et, en 1759, il est acquis par l'homme d'affaires Carl Heinrich von Schimmelmann. Celui-ci remodele le château et le village dans le style baroque et la configuration actuelle de la ville tient compte de ces plans.
Le , le domaine est devenu une communauté indépendante de Prusse rebaptisée Ahrensburg après une décision prise par le conseil de la communauté.
La construction du chemin de fer entre Hambourg et Lübeck en 1865 fait d'Ahrensburg une destination appréciée pour les sorties en dehors de Hambourg et le nombre d'habitants augmente. En 1910, la population atteint 2 750 habitants. L'intégration des diverses communes environnantes en 1928 conduit à une augmentation de la superficie de la ville à environ 5 km2.
La construction des colonies de peuplement « Daheim / Heimgarten » (en partie sur le territoire de la commune voisine d'Ammersbek) et « Am Hagen » a commencé en 1933. L'afflux de colons venus de Hambourg mène à la création du schéma de logement actuel.
Les infrastructures de la ville ont été grandement améliorées et élargies au cours des décennies suivantes. Dans le même temps de nombreuses entreprises s'installent à la périphérie de la ville et contribuent à transformer Ahrensburg en un centre d'affaires bien connu dans le Schleswig-Holstein.