En 1964, Murphy est élu au Sénat des États-Unis pour la Californie en tant que membre du Parti républicain, après avoir battu le démocrate Pierre Salinger. Il effectue un unique mandat, de 1965 à 1971. Entre 1967 et 1968, Murphy fut également président du National Republican Senatorial Committee, organe chargé du soutien aux candidats républicains au Sénat fédéral.
En 1970, Murphy demande réélection mais fut battu par le représentant démocrate John V. Tunney, fils du champion de boxe en poids-lourds Gene Tunney.
