Viúvo em 1698, casou-se com um segundo casamento com Ana Bulkeley em 1700. Dez filhos nasceram dessas novas núpcias:[2]
Henrique Jacobo de Fitz-James (1702-1721), 2.° Duque de Fitz-James; casada com Victoire Félicité de Durfort;
Henriqueta de Fitz-James (1705-1739), casada com Louis de Clermont d'Amboise, marquês de Reynel e de Montglas;
Francisco de Fitz-James (1709-1764), bispo de Soissons;
Enrique de Fitz-James (1711-1731), padre, governador de Limousin;
Carlos de Fitz-James (1712-1787), 4.° Duque de Fitz-James após suceder seu irmão (1721), governador de Limousin; casada com Victoire Louise Joséphe Gouyon de Matignon de Gace;
Laura Ana de Fitz-James (1713-1766), casada com Timoléon Joachim Louis de Montagu Beaune, marquês de Bouzols;
María Emilia de Fitz-James (1715-1770), casada com François Marie de Perusse, conde de Cars;
Eduardo de Fitz-James (1716-1758);
Ana Sofia de Fitz-James (1718-1763), freira;
Ana de Fitz-James (1720-1721).
Entre os seus descendentes estão o Duque de Fitz-James (francês) e o Duques de Liria (espanhol), que mais tarde se conectariam à Casa de Alba.[1] Deste ramo também surge o nobre ramo espanhol de Arion e o anglo-espanhol entronizado com a casa de Arion Fitz.