Le duo se forme en 1961 dans un club de Miami, le King of Hearts. Dave Prater vient participer à un concours de chanteurs amateurs animé par Sam Moore, et ils décident d'unir leurs talents. Ils se produisent dans les clubs locaux, puis signent un contrat d'artiste avec le label Roulette, chez qui ils sortent plusieurs singles et un album entre 1962 et 1964.
Ils commencent par deux échecs, A Place Nobody Can Find et I Take What I Want, mais enregistrent en You Don't Know Like I Know qui entre dans les charts R&B et s'y maintient 14 semaines. En 1966, ils en atteignent la première place avec Hold On, I'm Comin' et classeront deux autres titres : Said I Wasn't Gonna Tell Nobody, puis You Got Me Hummin’. L'année suivante, When Something Is Wrong With My Baby se place 2e.
Tournées mondiales
Au sommet de leur gloire, Sam & Dave participent à la fameuse tournée Stax/Volt Revue du printemps 1967, dont la tête d'affiche est Otis Redding. Après les États-Unis, la Revue se produit en Angleterre et en France. Le succès de cette tournée en Europe est tel qu'ils y retournent à l'automne avec le Sweet Soul Tour, cette fois ci avec Arthur Conley et Percy Sledge, et accompagnés par une grande formation. C'est pendant cette tournée que sort leur plus gros hit, Soul Man, resté 1er des charts R&B pendant 7 semaines, et 2e des charts pop pendant 3 semaines. Le single se vend en cinq semaines à plus d'un million d'exemplaires.
En 1968, un autre de leurs grands titres, toujours dû à l'équipe Hayes-Porter-MG's, se place dans les charts, I Thank You, suivi en 1969 de Soul Sister, Brown Sugar. Ils font en cette période de nombreux concerts, particulièrement dans les universités.
Les séparations
À partir de 1970, les deux chanteurs ne s'entendent plus, au point qu'ils ne se croisent plus que sur scène, et qu'ils se battent fréquemment dans les coulisses. Sam devient dépendant de l'héroïne. Ils se séparent une première fois. Ils se retrouvent peu de temps après pour quelques concerts, puis se séparent de nouveau. Cette succession de séparations et de réunions s'étend jusqu'à la fin des années 1970, les privant de toute possibilité d'évolution musicale.
En 1980, le film Les Blues Brothers, avec sa reprise de Soul Man, les ramène brièvement sous le feu des projecteurs, mais ils n'arrivent pas à en profiter pour revenir au-devant de la scène. L'ultime séparation a lieu après un show du nouvel an 1981 à San Francisco.