Nato da Juan Andrés Gelly, avvocato di origine paraguaiana che aveva partecipato alla rivoluzione del 25 maggio 1810,[1] e da Micaela Obes. Dopo i primi studi a Buenos Aires si trasferì in esilio con la sua famiglia a Montevideo, dove nel 1839 il giovane Juan Andrés si arruolò nelle file della resistenza a Juan Manuel de Rosas, partecipando nel 1843 alla difesa della capitale uruguaiana.[1]
Emigrato in Brasile, tornò in Argentina nel 1855, dopo la caduta di Rosas, fu deputato provinciale ed ebbe un importante ruolo nell'organizzazione dell'esercito alla vigilia della battaglia di Cepeda. In seguito fu designato Ministro della guerra da Bartolomé Mitre, con il quale aveva stretto amicizia già ai tempi dell'esilio.[2] Allo scoppio della guerra della Triplice Alleanza partecipò come capo di Stato Maggiore dell'esercito argentino e in seguito sostituì lo stesso Mitre al comando delle operazioni belliche, ricoprendo un ruolo di primo piano nella vittoriosa battaglia delle Lomas Valentinas o di Itá Ivaté.[3] Nel dicembre del 1868 si dimise dall'incarico a causa di contrasti con il nuovo presidente argentino Domingo Faustino Sarmiento.[2]
Dopo aver ricoperto vari incarichi nell'esercito argentino fu nominato a capo del Consiglio Supremo di Guerra e Marina, istituzione voluta dal presidente José Evaristo Uriburu; Juan Andrés Gelly y Obes morì il 18 settembre 1904.[2]