Von 1954 bis 1962 war er Abgeordneter im Repräsentantenhaus von Indiana, dessen Speaker er 1958 wurde. Bei der Wahl 1962 wurde er gegen Amtsinhaber Homer E. Capehart für Indiana in den Senat der Vereinigten Staaten gewählt. 1964 stürzte er mit seiner Frau, dem Senator Edward Kennedy aus Massachusetts und dem parlamentarischen Assistenten Edward Moss mit einem kleinen Flugzeug bei starkem Nebel ab. Bayh und seine Frau kamen ohne größere Verletzungen davon, während Kennedy schwer verletzt von ihm aus dem Flugzeug gerettet werden musste. Moss und der Pilot kamen ums Leben.
Als Senator setzte sich Bayh für die Gleichberechtigung von Frauen ein; so war er maßgeblich an der Gesetzgebung des Title IX der Education Amendments 1972 beteiligt, das jegliche Diskriminierung von Frauen im Sport verbot. Ferner initiierte er zwei Verfassungsänderungen: Der 25. Verfassungszusatz regelte den Fall von Behinderung und Amtsnachfolge des Präsidenten im Todesfall, der 26. Zusatzartikel senkte das Wahlalter auf 18 Jahre. Weiter war er Initiator des Equal Rights Amendment, das allerdings abgelehnt wurde.
In den letzten Jahren als Senator befasste er sich vor allem auch mit der Abschaffung der herkömmlichen Wahlmethode (das Electoral College) und deren Ersetzung durch einen Volksentscheid. Auch Vorschläge in diese Richtung wurden vom Senat abgelehnt. 2006 wurde Bayh Mitglied der Gemeinschaft National Popular Vote Inc., die sich unter dem Motto Every Vote Equal für die absolute Gleichberechtigung der Wählenden einsetzt.
1972 verhinderte eine Krebserkrankung seiner Frau, dass Bayh zur Wahl für das Amt des US-Präsidenten aufgestellt wurde. Bis zu ihrem Tod im Jahr 1979 blieb sie eine der führenden, populären Kämpferinnen gegen diese Krankheit. 1976 trat Bayh in der Präsidentschaftsvorwahl der Demokraten an, hatte aber wegen seiner späten Entscheidung einen organisatorischen Nachteil. Nach mehreren dritten Plätzen in einzelnen Vorwahlen beendete er seine Kandidatur nach einem enttäuschenden siebten Platz in Massachusetts. Bei der Senatswahl 1980 unterlag er nach persönlichen Angriffen seines republikanischen Gegenkandidaten Dan Quayle mit 46 Prozent der Stimmen, woraufhin er am 3. Januar 1981 aus dem Kongress ausschied.
Später war Bayh Partner der Washingtoner Anwaltskanzlei Venable LLP.
