Le 20 octobre 1966, Lord Hamilton épouse Alexandra Phillips, fille du lieutenant-colonel Harold Phillips et de Georgina Wernher, elle-même fille aînée et co-héritière de Sir Harold Wernher, 3e baronnet, de Luton Hoo, Bedfordshire. Leur mariage à l'abbaye de Westminster réunit des membres de la famille royale, dont la reine Élisabeth II et la reine mère, et le prince Andrew qui était page.
Le duc et la duchesse d'Abercorn ont trois enfants :
James Harold Charles Hamilton, marquis de Hamilton (né le 19 août 1969) ; un filleul du roi Charles III ; marié à Tanya Marie Nation le 7 mai 2004, dont deux fils.
Lady Sophia Alexandra Hamilton (née le 8 juin 1973) ; mariée à Anthony Loyd le 7 septembre 2002, divorcés en 2005, sans descendance.
Lord Nicholas Edward Hamilton (né le 5 juillet 1979) ; marié à Tatiana Kronberg le 30 août 2009, dont descendance.
