Був монахом у Монте Кассіно, звідки його забрав до Риму папа Урбан II, який призначив Джованні кардиналом і папським канцлером. Працюючи канцлером реформував папську адміністрацію, заснувавши постійну групу чиновників, які стали готувати папські документи.
Понтифікат
Після свого обрання папою був захоплений у полон прихильником імператора Священної Римської імперіїГенріха V, проте був звільнений внаслідок бунту римлян. Генріх V проголосив обрання Геласія II скасованим та призначив папою Бурдіна, єпископа Браги, який прийняв ім'я Григорія VIII, який вважається антипапою.
Геласій II утік до Гаети, де пізніше отримав визнання папою від єпископів. Він відлучив від церкви Генріха V та антипапу, повернувся до Риму, скориставшись підтримкою норманнів. Невдовзі Геласій II був змушений знову втекти з Риму, рятуючись від прихильників імператора. Він здійснив подорож до Франції, де його приймали прихильно. Помер у Клюні.