Az album felvételei Los Angelesben és Londonban zajlottak; ebben az időszakban a Rolling Stones némileg eltávolodott a rhythm and bluestól, és egy művészibb kifejezésmód felé vették az irányt. A BeatlesRevolver, a Beach BoysPet Sounds és Bob DylanBlonde on Blonde című albuma nagymértékben kiterjesztette a rock kereteit, így a Rolling Stonesnak – főleg Mick Jaggernek és Keith Richardsnak – is mutatni kellett valamit, túl kell szárnyalniuk az Aftermath sikerét is. Bár Jagger az évek során többször nemtetszését fejezte ki az albummal kapcsolatban, a Between the Buttons ma már egyfajta kuriózum a rajongók és a kritikusok szemében.
Az Aftermath-hez hasonlóan a Between the Buttons brit és amerikai kiadása szintén különbözött. A brit kiadás 1967. január 20-án jelent meg a "Let's Spend the Night Together"/"Ruby Tuesday" című kislemez kíséretében. A korabeli angol gyakorlat szerint egy kislemez nem kerülhetett fel az albumra. Az albumot általában kedvezően fogadták (bár a kritikusok észrevették más brit zenekarok hatását), a brit lisákon a 3. helyet érte el.
Az amerikai kiadáson már szerepelt a két dal, míg a "Back Street Girl" (az album egyik csúcspontja) és a "Please Go Home" nem került fel rá. A "Ruby Tuesday" 1., a Between the Buttons pedig 2. lett az amerikai listákon.
Brian Jones folytatta a különleges hangszerekkel való kísérletezést, az elektromos és akusztikus gitár, valamint a zongora mellett szitáron, furulyán, trombitán, harsonán, bendzsón és kazoon játszott. Egyes feltevések szerint a "Ruby Tuesday" valójában Jones és Keith Richards szerzeménye.
A Between the Buttons volt a Rolling Stones utolsó albuma, ami Andrew Loog Oldham produceri közreműködésével készült.
A megjelenését követő években sokan átsiklottak a Between the Buttons fölött. Ma már több kritikus és rajongó felismerte eklekticizmusát és rejtett értékeit, melyek egy különleges művé teszik a Rolling Stones katalógusában.