Big Horn signifie, en anglais, « grande corne », bighorn signifiant « mouflon canadien ». Ce toponyme relatif aux capridés fait écho à plusieurs toponymes proches de la Goat Rocks Wilderness, notamment ceux de Goat Lake, Goat Creek, Goat Rocks (« les rochers de la chèvre ») et, sur le flanc oriental du mont Adams, Goat Butte (« la colline de la chèvre »).