Правнук последнего Уильям Байрон, 5-й барон Байрон (1722—1798), убил во время поединка своего кузена и соседа Уильяма Чауорта 26 января 1765 года. Он предстал перед судом Палаты лордов, но согласно уставу Эдуарда VI был признан виновным только в убийстве и вынужден был заплатить небольшой штраф. Лорд Байрон стал известен как «Злой Лорд» и «Дьявол-Байрон»
Ему наследовал его внучатый племянник, Джордж Гордон Байрон, 6-й барон Байрон (1788—1824), известный романтический поэт. Он был сыном Джона «Мэд Джека» Байрона, сына вице-адмиралаДжона Байрона (1723—1786), второго сына 4-го барона. Лорд Байрон умер, не оставив мужских потомков. Ему наследовал двоюродный брат Джордж Энсон Байрон, 7-й барон Байрон (1789—1868), который имел чин адмирала королевского флота.
После смерти в 1983 году его правнука Руперта Фредерика Джорджа Байрона, 11-го барона Байрона, эта линия семьи прервалась. Его сменил его шестиюродный брат — подполковник Ричард Джеффри Гордон Байрон, 12-й барон Байрон (1899—1989). Он был потомком Ричарда Байрона, третьего сына 4-го барона. По состоянию на 2024 год обладателем титула являлся его второй сын, Роберт Джеймс Байрон, 13-й барон Байрон (род. 1950), который сменил своего отца в 1989 году.
1798—1824: Джордж Гордон Ноэл-Байрон, 6-й барон Байрон (22 января 1788 — 19 апреля 1824), единственный сын капитана Джона Байрона (1756—1791) от второго брака с Кэтрин Гордон (ум. 1811), внук адмирала достопочтенного Джона Байрона (1723—1786), правнук 4-го барона Байрона
1824—1868: адмиралДжордж Энсон Байрон, 7-й барон Байрон (8 марта 1789 — 3 марта 1868), единственный сын капитана Джорджа Энсона Байрона (1758—1793), внук адмирала достопочтенного Джона Байрона (1723—1786), правнук 4-го барона Байрона
1949—1983: Руперт Фредерик Джордж Байрон, 11-й барон Байрон (13 августа 1903 — 1 ноября 1983), старший сын полковника Вильфрида Байрона (1871—1936), внук преподобного достопочтенного Уильяма Байрона (1831—1907), правнук 7-го барона Байрона
§ отрицают своё право на пэрский титул; ↑ — также в пэрстве Соединённого королевства;*Существующие в настоящее время **В Шотландии, в отличие от Англии и Ирландии, низшим титулом в системе пэрства Шотландии являлся «Лорд парламента», бароны же имели только феодальные права. ***Барон Каррингтон занимает наследственный пост Лорда великого камергера