Il est le fils de Robert et Elizabeth Clifton-Brown, né à Cambridge. Il fait ses études à la Tormore School, à Upper Deal, Kent, puis au Collège d'Eton, avant de fréquenter le Royal Agricultural College où il obtient son diplôme d'arpenteur agréé en 1975. Il commence sa carrière comme arpenteur-géomètre diplômé à la Property Services Agency de Dorchester et, plus tard en 1975, il devient arpenteur-géomètre auprès de Jones Lang Wootton. Il est vice-président de la Norfolk North Conservative Association en 1984. Il est élu président du comité de circonscription en 1986, poste qu'il occupe jusqu'à sa démission en 1991 pour se présenter aux élections en tant que candidat conservateur.
Carrière parlementaire
En 1991, Clifton-Brown est choisi comme le candidat alors conservateur parlementaire de la circonscription de Cirencester et Tewkesbury, à la suite de la retraite de l'ancien ministre Nicholas Ridley. Il est élu aux élections générales de 1992, avec une majorité de 16 058 voix, et prononce son premier discours le 12 juin 1992[3].
Il devient membre du Comité spécial de l'environnement, où il reste jusqu'en 1995. Clifton-Brown est ensuite nommé secrétaire parlementaire privé de Douglas Hogg, ministre de l'Agriculture, des Pêcheries et de l'Alimentation.
Plus tard, sa circonscription est abolie, mais il est élu pour la circonscription nouvellement créée de Cotswold aux élections générales de 1997. Après que Iain Duncan Smith soit devenu chef du Parti conservateur, Clifton-Brown est le ministre fantôme pour les affaires gouvernementales locales et décentralisées en 2002[4].
Après les élections de 2010 et la formation du gouvernement de coalition, Clifton-Brown revient sur les bancs arrière, effectuant également des visites à l'étranger dans son rôle de président du Bureau international du Parti conservateur. À cette époque, il est le président parlementaire des Amis conservateurs de la Chine[4]. Dans une interview accordée à CNN en 2015, Clifton-Brown déclare que sa famille faisait des affaires en Chine depuis les années 1920[5].