Dopo aver conseguito la laurea presso l'Istituto di Tecnologia (Politechnikum ) di Vienna, nel 1832 Ybl è diventato assistente di Mihály Pollack e ha lavorato nello studio di Henrik Koth dal 1836 al 1840.
Successivamente a queste esperienze si è trasferito prima a Monaco di Baviera e in seguito in Italia per completare la sua formazione. Dopo il suo ritorno in Ungheria è entrato in società con Ágoston Pollack, figlio di Mihály Pollack, e insieme hanno restaurato il castello di Ikervár di proprietà del conte Lajos Batthyány. Il suo primo lavoro importante è stata la chiesa di Fót, costruita tra il 1845 e il 1855.
I primi grandi progetti di Ybl seguivano lo stile romantico influenzato da motivi orientali; più tardi, nei suoi edifici, sono presenti richiami allo stile romanico.
Dopo il suo secondo viaggio in Italia nel 1860, Ybl si è interessato alla possibilità di un ritorno allo stile rinascimentale italiano e ha realizzato diversi edifici neorinascimentali.
Molti degli edifici da lui progettati sono diventati, e ancora oggi lo sono, elementi determinanti del paesaggio urbano di Budapest: la Basilica di santo Stefano (1867-1891), i Bagni Rác, l'ex Palazzo delle dogane (1871-1874), la sala del trono e l'ala di Krisztinaváros del Palazzo Reale.
Ybl ha anche costruito numerose chiese, palazzi e castelli nelle province.
In suo onore, il premio di architettura annuale istituito nel 1953, porta il suo nome.