عبر كونراد جبال الألب بسرعة ليُتوّجه أنسيلمو الخامس أسقف ميلانو ملكا على إيطاليا. على مدى العامين التاليين فشل في تحقيق أي شيء في إيطاليا، ومع ذلك عاد إلى ألمانيا عام 1130، بعد سقوط نورنبيرغوشباير المدينتين الداعمتين له بقوة في يد لوثير الثالث عام 1129. استمر كونراد في معارضته، لكنه وفريدريش اضطروا للاعتراف به إمبراطورا عام 1135. بعد ذلك تم العفو عنهما وأمكنهما استعادة امتلاك أراضيهما.
بعد لوثير وفاة (ديسمبر 1137)، تم انتخاب كونراد ملكا لألمانيا في كوبلنس في 7 مارس1138، في حضور مندوب البابوية ثيودوين. وتوج كونراد في آخن بعد ستة أيام (13 آذار / مارس) واعتُرف به في بامبيرغ من عدة أمراء من جنوب ألمانيا. هاينريش العاشر زوج ابنة لوثير الثالث الوحيدة ووريثه أقوى أمراء ألمانيا، والذي تجاوزه في الانتخابات، رفض ان يحذو حذوه، فجرّده كونراد من كل أراضيه، معطيا دوقية ساكسونيا إلى ألبرشت الدبودوقية بافاريا إلى ليوبولد الرابع مارغريف النمسا. ولكن هاينريش احتفظ بولاء رعاياته. اندلاع الحرب الاهليه يعتبر أول إرهاصات الصراع بين الغويلفيين والغيبلينيين الذي امتدد لاحقا جنوبا إلى إيطاليا. بعد وفاة هاينريش (أكتوبر 1139)، واصل ابنه هاينريش الأسد الحرب بدعم الساكسونيين وأخيه فلف السادس. هُزم كونراد بعد حصار طويل في فاينزبرغ في ديسمبر 1140، وتم التوصل إلى اتفاق سلام في مايو 1142 في فرانكفورت.
وفي العام نفسه، دخل كونراد بوهيميا لإعادة صهره فلاديسلاف الثاني كأمير. فشلت محاولته مع صهر آخر هو الأمير البولندي فلاديسلاف الثاني المنفى. بافاريا وساكسونيا ومناطق أخرى من ألمانيا كانت في الثورة.