Lors des fouilles au XXe siècle, des pièces de monnaie ont été trouvées et des vestiges d'une voie romaine ont été découverts sous l'actuelle Hochstraße, voie qui pourrait être datée de 98-117 apr. J.-C. sur la base de ces pièces de monnaie mises au jour. Cela suppose que l'endroit était probablement déjà habité au Ier siècle. Des tombes mérovingiennes ont aussi été découvertes lors de fouilles organisées sur le site de la collégiale.
La vieille ville s'est développée autour des deux collines de la ville, avec respectivement la collégiale et le château. Le Kirchberg est une colline naturelle et le Burgberg est une motte castrale, colline qui a été artificiellement élevée. Cette dernière est aujourd'hui la plus haute de Rhénanie. Aujourd'hui, sur le Kirchberg, s'élève l'église Saint Gangolf(de) de style gothique tardif du milieu du XVe siècle. Les deux collines sont l'une à côté de l'autre et sont séparées par une gorge, au dessus de laquelle passe un pont en bois.
Au XIe siècle, Heinsberg est devenu le centre de la seigneurie de Heinsberg, qui était gouvernée par les seigneurs de Heinsberg conjointement aux terres de Valkenburg. Le premier seigneur fut Gossuin Ier de Valkenbourg(nl) à partir de 1085. Il était marié à Oda de Walbeck. Elle a fondé le chapitre de St. Gangulfus après la mort de son mari en 1128, qui n'a été dissout qu'en 1803. Leur fils Gossuin II de Valkenbourg(nl) a fondé le double monastère prémontré. La partie masculine a été dissoute en 1479. Le monastère des femmes est devenu un monastère pour les femmes nobles et a été dissous pendant la période française en 1803.
En 1255, Heinsberg a été mentionnée pour la première fois comme ville dans une charte de Henri de Heinsberg et sa femme Agnes. Avec la mort de Jean IV de Looz-Heinsberg en 1448, la dynastie de la lignée masculine s'éteint.
Dans la collégiale se trouvent encore quelques tombeaux des seigneurs de Heinsberg et les armoiries actuelles sont basées sur les armoiries de cette dynastie.
La fille de Jean IV, Jeanne, est mariée en 1456 avec Jean II de Nassau-Sarrebruck. Le mariage en 1472 de leur fille Elisabeth avec Guillaume de Juliers et Berg a fait la gloire du duché de Juliers. Le château d'Heinsberg a ensuite été utilisé comme résidence par les ducs.
Les premiers protestants sont entrés dans la ville en 1528. En 1558, ils fondèrent une église sous l'influence du mouvement calviniste aux Pays-Bas. Vers 1600, environ la moitié de la population était protestante. Après 1613, cependant, ce nombre diminue régulièrement, en raison d'un propriétaire catholique qui réprimait le protestantisme.
La ville fut de nouveau partiellement détruite en 1543 par les troupes impériales pendant la troisième guerre de succession de Gueldre. En 1683, un incendie fait rage dans le centre-ville et de nombreux bâtiments disparaissent.
En 1771, une synagogue est établie dans la ville.
En 1794, la ville est conquise par les Français menés par le général Jourdan, mais elle est reprise en octobre de la même année par le général de brigade Bernadotte. Jusqu'à l'invasion de Napoléon Bonaparte, cette paroisse a appartenu au diocèse de Liège puis à celui d'Aix-la-Chapelle. Après le départ des Français, la ville devient prussienne à partir de 1816 et devient le chef-lieu de l'Arrondissement d'Heinsberg(de)
Après la Première Guerre mondiale, des soldats français sont stationnés dans la ville entre 1918 et 1919 puis des soldats belges suivent jusqu'en 1926 en raison de l'occupation de la Rhénanie par les Alliés. La synagogue est détruite lors de la Nuit de Cristal et une cinquantaine de Juifs sont déportés en 1942. En outre, les national-socialistes veillent à ce qu'au moins 239 personnes soient stérilisées de force à l'hôpital local. La ville était le point extrême nord du Westwall de la Seconde Guerre mondiale. En 1944, la ligne de défense Maas-Roerstelling a été construite passant près de la ville pour défendre l'Allemagne contre l'avancée des Alliés. Dans l'après-midi du 16 novembre 1944, la Royal Air Force a largué 2 223 bombes sur la ville, qui ont détruit de nombreux bâtiments. Entre autres, le bâtiment de l'ancien couvent des sœurs franciscaines est détruit à l'angle de Hochstraße et Josefstraße, qui a servi de 1682 et 1803. Le bâtiment du monastère franciscain sur la Patersgasse, qui a été fondé en 1625 après la contre-réforme et qui a servi pour cet usage jusqu'en 1803, a également été détruit. Le 24 janvier 1945, la ville en ruine est conquise par les Alliés.
Après la guerre, le centre-ville a été reconstruit avec des bâtiments pour la plupart modernes. De nombreux morts sont enterrés au cimetière militaire allemand de Heinsberg. L'église sur le Kirchberg a été restaurée des dégâts de la guerre entre 1951 et 1954.
Après la Seconde Guerre mondiale, de nombreux réfugiés allemands d'Europe centrale et orientale se sont installés dans la ville, qui ont pour la plupart adhéré au luthéranisme. De nombreux Allemands soviétiques ont suivi ce mouvement dans les années 80.