Альберт, старший син прем'єр-міністра Франції Віктора де Брольї і онук мадам де Сталь, ще в юності почав журналістську кар'єру написавши ряд статей у «Revue des Deux Mondes», був також одним із засновників журналу «Ревю франсез»[6], і в той же час був одним з редакторів «Correspondant».
Під час правління короля Франції Луї-Філіппа I Альбер де Брольї виконував обов'язки секретаря посольств в європейських столицяхМадриді (Іспанія) і Римі (Італія). У 1848 залишив свою посаду і за часів Другої імперії принципово утримувався від будь-якої політичної діяльності. У 1871 — заступник глави департаменту Ер. У тому ж році був призначений послом при англійському дворі в Лондоні. Брольї також був однією з помітних постатей ліберального католицизму.
Жак Віктор Альберт, герцог де Брольї, очолюючи кабінет «морального порядку» (1873—1874), намагався зберегти династичні права і вотував концепцію аристократичної двопалатної системи. Проте його пропозиції були відкинуті як республіканцями, так і бонапартистами. Під час кризи у 1877 році герцог знову створив кабінет міністрів, але в результаті прийняття так званого «Маніфесту 363» збори та кабінет були розпущені того ж року.
З 1876 по 1885 Брольї виконував обов'язки сенатора від департаменту Ер. Крім цього, він став членом Французької академії (як і його батько) і Академії моральних і політичних наук Франції.
Написав ряд історичних досліджень, а також власні мемуари[7].