На час обрання на папський престол Гі був удівцем і мав двох молодих дочок. До прийняття сану священика він був успішним воїном і правником, особистим секретарем короля Франції Людовика IX, який пізніше вплинув на його обрання папою. Його церковна кар'єра була стрімкою: у 1256 році він був єпископом Лу Пуі, у 1259 році — архієпископом Нарбонни, у грудні 1261 року був призначений кардиналом папою Урбаном IV Виконував обов'язки легата в Англії у 1262—1264 роках.
У ці часи Святий престол був утягнутий в конфлікт з Манфредом, позашлюбним сином і спадкоємцем імператора Фрідріха II, якого гвельфи називали «узурпатором Неаполя». Климент IV, який на час свого обрання перебував у Франції, був змушений прибути до Італії у гримі. Він негайно навів контакти з братом французького короля Карлом Анжуйським, який також претендував на цей престол. Карл визнав папу своїм сеньйором і був коронований кардиналами у Римікоролем Неаполітанським. Папа у той час перебував у Вітербо, оскільки партія гібелінів була доволі сильною у Римі. Озброєний папськими грошима та підтримкою Карл переміг Манфреда.