Rob Brydon est né le à Baglan, au Pays de Galles. Sa mère, Joy Jones (née Brydon), était enseignante, et son père, Howard Jones, était vendeur de voitures. Il a un frère cadet, Peter (né en 1973)[1].
Il va à l'école dans deux independent schools : la St. John's School à Porthcawl, par laquelle Eddie Izzard est passé, et la Dumbarton House School à Swansea jusqu'à ses 14 ans. Il va ensuite à la Porthcawl Comprehensive School, où il rencontre Ruth Jones (avec qui il travaillera plus tard dans Gavin & Stacey) et où il intègre la troupe de théâtre de l'école. Dans un épisode de la saison 4 de Would I Lie to You?, il raconte que lorsqu'il était dans cette école, il a volé l'argent que Catherine Zeta-Jones, alors elle aussi élève, dédiait à ses frais de cantine[2].