Richard Duncan Carey Garnett (d) William T. K. Garnett (d) Amaryllis Garnett (en) Henrietta Garnett (en) Nerissa Stephen Garnett (d) Frances Garnett (d)
Sa première femme est l'illustratrice Rachel "Ray" Marshall (1891-1940), sœur de la dernière survivante de la première génération du Bloomsbury Group, Frances Partridge. Ils ont deux enfants ; elle meurt relativement jeune d'un cancer du sein.
Tout en étant principalement hétérosexuel, Garnett a de brèves liaisons homosexuelles dans sa jeunesse avec Francis Birrell et Duncan Grant. Il est présent à la naissance de la fille de Grant, Angelica Garnett (née Bell), le , et il écrit à un ami peu après : « Je pense l'épouser. Quand elle aura vingt ans, j'en aurai quarante-six - est-ce que ce sera scandaleux ? » Lorsque Angelica a vingt-quatre ans, ils se marient (le ), au grand scandale des parents d'Angelica ; il a épousé la fille de son ancien amant.
Ils ont quatre filles (Amaryllis, Henrietta, et les jumelles Nerissa et Frances), puis se séparent. Leur fille aînée Amaryllis (1943-1973) devient actrice. Henrietta, la deuxième, épouse Burgo Partridge, neveu de Ray Marshall ; elle gère à la fois l'héritage de David Garnett et de Duncan Grant.
Après s'être séparé d'Angelica, Garnett s'installe en France et vit au château de Charry, à Montcuq (près de Cahors) jusqu'à sa mort en 1981.