À l'âge de deux ans déjà, Conrad est reconnu comme successeur de son père. Henri IV lui donne en apanage le duché de Basse-Lotharingie et le marquisat de Turin. Le duché a été récupéré par le roi à la mort du duc Godefroy le Bossu au détriment de l'héritier de ce dernier, Godefroy de Bouillon. La régence du duché est confiée au comte Albert III de Namur qui est nommé vice-duc. Cette même année 1076, Conrad accompagna son père à la pénitence de Canossa. Il est laissé aux soins de Théodbald de Castiglione, archevêque de Milan et reste en Italie.
En 1087, il fut élu roi des Romains et couronné le à la chapelle palatine d'Aix-la-Chapelle, ce qui fit officiellement de lui l'héritier de l'Empire. La Basse Lotharingie fut rendue en fief à Godefroy de Bouillon qui est resté loyal à la dynastie franconienne.
Son père contre-attaque à la Diète de Mayence en en le déposant et en désignant comme héritier son fils cadet Henri V. À partir de cette date, l'influence de Conrad en Italie diminue : pratiquement abandonné par la margravine Mathilde, il vit dans le petit château de Borgo Santo Donnino (l'actuelle Fidenza) et meurt à Florence de la malaria en 1101[1], "méprisé de ceux-même qui avaient suscité sa révolte et qui en avaient profité"[2].
