El college fue fundado en 1800 bajo la voluntad de Sir George Downing, 3.er Barón con la herencia que le dejó su abuelo, Sir George Downing, que sirvió a Cromwell y a Carlos II y que construyó el 10 de Downing Street (una de las puertas que formó parte del 10 de Downing Street se usa en el college). Murió en 1749, y no tenía herederos directos (estaba legalmente separado de su mujer), la fortuna de la familia se la dio a su sobrino, Sir Jacob Downing, si este moría sin herederos la fortuna pasaría a los tres sobrinos siguientes. Si todos murieran sin herederos, las tierras serían usadas para fundar un college en Cambridge llamado Downing.
El fundador murió en 1749 y Sir Jacob en 1764. Como los otros herederos también murieron, el college debería haber sido fundado, pero entonces, la viuda de Sir Jacob, Margaret, rehusó dejar las tierras y varios familiares que eran los herederos legales de Sir George tuvieron que emprender costosas acciones en los tribunales para obligarla a cumplir la voluntad de Sir George. Ellas murió en 1778 pero su segundo marido y el hijo de su hermana continuaron luchando en los tribunales contra loa herederos legales hasta 1800 cuando el tribunal falló a favor de la voluntad de Sir George.
El arquitecto William Wilkins fue contratado por los tesoreros de las tierras de Downing, que eran los Directores del Clare College y el St John’s y los Arzobispos de Canterbury y York, para diseñar el college. Wilkins, que era un discípulo del estilo neoclásico, diseñó el primer campus de una sola planta basada en la magnífica puerta de Downing Street que forma el cuadrado más grande de Cambridge, que se extiende hasta Lensfield Road. Pero esto no se pudo realizar.
Los terrenos eran mucho más pequeños y el gran plan falló. La mayor parte del lado norte de lo que era “Pembroke Leys” fue vendido a la universidad y ahora alberga edificios científicos. De hecho, inicialmente se construyeron los lados este y oeste, con planes para una biblioteca y una capilla para la fachada sur del college.
El tercer lado fue únicamente completado en la década de 1950 con el edificio de la capilla del college. Donde debería haber ido el cuarto lado ahora hay un gran prado (conocido simplemente como “El Prado”), con mucho árboles.
El college es renombrado por su fuerte tradición en Derecho y Medicina, las antiguas asignaturas se han renovado gracias al antiguo profesor Clive Parry, su alumno y sucesor Universidad Johns Hopkins (actualmente profesor emérito) y la actual Directora de estudios en Derecho y profesora Adjunta, Graham Virgo. Los más importantes juristas que han sido profesores honorarios del college incluyen a Sir John Smith, el eminente criminólogo de su generación, Sir Lawrence Collins y Sir Robert Jennings, antiguo presidente de la Corte Internacional de Justicia.
Los estudiantes del Downing siguen siendo importantes en el mundo de la Universidad; en los últimos años los Cambridge Union Presidents, los capitanes Blues, y los Presidentes de las Sociedades de Derecho y Economía han salido del Downing.
El college también es fuerte en el campo del deporte, con el equipo masculino de rugby en las primeras posiciones de la División 1. El restablecido equipo de rugby femenino ganó en 2007. El club náutico también da éxitos.
Rawle, Tim (2015): A Classical Adventure: The Architectural History of Downing College, Cambridge. Cambridge: Oxbridge Portfolio ISBN 978 0 9572867 4 0OCLC931005141