Im Jahre 1894 begann dann für ihn eine Serie von sechs Spielzeiten mit jeweils mindestens 20 Siegen. 1898 hatte er mit seinem ERA von 1.88 den niedrigsten Wert in der ganzen National League.
1901 wechselte er in die neu gegründete American League und gewann dort mit den Chicago White Sox die Meisterschaft. In diesem Jahr erreichte er auch letztmals die Anzahl von 20 Siegen für einen Werfer. 1903 wechselte er dann nach New York City und wurde dort der erste Baseballmanager der New York Highlanders. Die Doppelfunktion als Spieler und Manager übte er dort bis 1907 aus, sein letztes Jahr in New York arbeitete er nur als Manager.
Von 1909 bis 1911 war er dann bei den Cincinnati Reds tätig, ehe er 1912 zu den Washington Senators wechselte. Bei den Reds war Griffith der erste, der kubanische Baseballspieler für die Major Leagues verpflichtete. Bei den Washington Senators bestritt er am 7. Oktober 1914 sein letztes Spiel im aktiven Baseball. Bis 1920 war er bei den Senators dann noch als Manager tätig. Als Manager konnte er in seiner Laufbahn 1491 Spiele gewinnen.
1920 übernahm er dann die Senators als Eigentümer, die er bis zu seinem Tode 1955 behalten sollte. Nach seinem Tod übernahm sein Adoptivsohn Calvin Griffith die Geschicke des Teams.