Впервые титул графа Гоури был создан 23 августа1581 года королём Шотландии Яковом VI Стюартом для Уильяма Рутвена, 4-го лорда Рутвена (ок. 1541—1584). 28 мая1584 года он был казнен по обвинению в государственной измене, лишен титулов и владений. Два года спустя, в 1586 году, осуждение было отменено, и его старший сын, Джеймс Рутвен, 2-й граф Гоури (1575—1588), был восстановлен в титулах графа Гоури и лорда Рутвена. Ему наследовал младший брат, Джон Рутвен, 3-й граф Гоури (1577—1600). В 1600 году он попытался совершить переворот и захватить в плен короля Якова Стюарта во дворце Гоури в Перте, но был убит охранниками короля вместе с младшим братом. Титул графа Гоури и лорда Рутвена были конфискованы в пользу государства.
Семья Рутвен происходит от сэра Уильяма Рутвена (ум. 1528), который в 1488 году получил титул лорда Рутвена, став пэром Шотландии. Его сын и наследник, Уильям Рутвен, мастер Рутвен, погиб в сражении при Флоддене в 1513 году. В 1528 году после смерти лорда Рутвена ему наследовал его внук, Уильям Рутвен, 2-й лорд Рутвен (ум. 1552), сын мастера Рутвена. 2-й лорд Рутвен был лордом внеочередной сессии (1539—1552) и лордом-хранителем малой печати Шотландии (1547—1552). Его преемником стал его сын, Патрик Рутвен, 3-й лорд Рутвен (ок. 1520—1566), был лидером заговорщиков, которые убили Дэвида Риччо, личного секретаря королевы Марии Стюарт. После его убийства Патрик бежал в Англию, где скончался в 1566 году. Его сменил его сын, вышеупомянутый Уильям Рутвен, 4-й лорд Рутвен, который в 1581 году получил титул графа Гоури.
Патрик Рутвен, 1-й граф Форт (ок. 1573—1651), сын Уильяма Рутвена и Кэтрин Стюарт, внук Уильяма Рутвена, младшего сына Уильяма Рутвена, 1-го лорда Рутвена (ум. 1528)
Сэр Джон Рутвен, сын Уильяма Рутвена, племянник графа Форта, генерал-майор шведской армии
1945—1955: Александр Хоур-Рутвен, 1-й граф Гоури (6 июля 1872 — 2 мая 1955), второй сын Уолтера Хоур-Рутвена, 9-го лорда Рутвена из Фрилэнда (1838—1921) и Кэролайн Эннсли Гор;
¹ Существующие титулы. Перечислены по официальному порядку предшествования. ² Граф Эррол занимает пост лорда верховного констебля Шотландии. ³ Граф Уэссекс и граф Дамбартон — члены королевской семьи