Am 10. September 1783 heiratete er die Gräfin Maria Eleonore von Colloredo (* 19. Februar 1764; † 6. Februar 1818), die eine hervorragende Pianistin war. Das Paar hatte mehrere Kinder:
Friedrich August († 1815)
Maria Antonia
Maria Theresia (* 10. August 1785; † Januar 1830) ⚭ 1804 Graf August Clemens von Ledebur-Wicheln (* 16. Dezember 1772; † 26. August 1846)
Franz de Paula (* 5. Juni 1789; † 11. Januar 1865) ⚭ 1810 Gräfin Juliana von Grundemann-Falkenberg (* 26. März 1788; † 27. Oktober 1866)
Autobiografie: Biographie Sr. Excellenz Franz Grafen von Hartig, Herrn auf Niemes, Wartenberg, Alteiche, Berskowitz etc., Wirklichen Geheimen Rathes, Kammerers u. ehemal. bevollm. Ministers am Churf. Sächsischen Hofe, Wien 1799