Iniziato alla carriera politica come gran parte dei membri della sua famiglia, divenne High Steward di Hertford e poi fu governatore del Foundling Hospital di Londra. Nel 1745 sposò Elizabeth (1721–1776), figlia di Edward Keet di Canterbury, che le fonti riportano barbiere e guida turistica locale. Ad ogni modo, dopo alcuni anni di matrimonio, la coppia si separò a causa di un'amante, Mary Grave di Baldock, che rimase per i successivi 30 anni la compagna di vita del Conte a Quickswood. C. Price scrisse un pamphlet sul conte e le sue condizioni di vita dissoluta nel 1771 (archivi di Hatfield House):
“Egli vive nel sottotetto della casa … circondato da vecchie scatole e pigne di libri sgualciti. In salute o malato non lascia mai la sua camera, non vede mai nessuno e non parla mai con nessuno se non con la sua vecchia Dama, come è solito chiamarla, ed il suo dottore che occasionalmente gli fa visita. I suoi servitori sono tutti vecchi e rozzi.”
Morte
James Cecil morì il 19 settembre 1780 dopo aver avuto un figlio da Elizabeth Keet, James Cecil, il quale gli succedette nel titolo, e due figlie morte nubili. Per sua espressa volontà, nel suo testamento James Cecil riservò la considerevole somma di 50.000 sterline a Mary Grave oltre a gioielli, argento e mobili provenienti dalla residenza di Hatfield. Inoltre il Conte riservò 43.000 sterline da spartirsi tra i sette figli avuti dall'amante tra i quali ricordiamo James Cecil Grave, rettore di Hatfield e Clothall. Il testamento venne a più riprese poi contestato dal VII conte di Salisbury il quale diede anche ordine attorno al 1790 di demolire la casa di Quickswood per cancellare la memoria della condotta dissoluta del padre. Mary Grave morì il 2 dicembre 1789 a Baldock.