That's Not Me è una brano pop rock influenzato dalle droghe psichedeliche che nel periodo 1965-66 ispirarono Brian Wilson ad uno stile di scrittura maggiormente introspettivo.[1] La traccia vocale principale venne cantata da Mike Love e Brian Wilson.[2] Nel corso dell'intero brano è presente il suono dell'organo in maniera massiccia, specialmente all'inizio. L'arrangiamento minimale e le strutture armoniche abbastanza semplici, sono in contrasto con il resto del materiale presente sull'album, ma ugualmente rivoluzionarie.[3] La canzone è una sorta di pezzo di musica pop sperimentale d'avanguardia, con una struttura alquanto insolita.[4]
A differenza di tutte le altre canzoni di Pet Sounds, questa traccia vede la presenza dei Beach Boys agli strumenti; infatti per le incisioni finali dei brani, Brian ormai utilizzava musicisti di studio sin dai tempi di Today!. Brian Wilson suona l'organo, Carl Wilson la chitarra, e Dennis Wilson la batteria. Al Jardine è stato poi accreditato per aver suonato il tamburello, mentre Mike Love canta accompagnato dai restanti membri del gruppo in sottofondo.
Tuttavia, nonostante Dennis Wilson sia stato accreditato per avere suonato la batteria nel pezzo, alcune fonti suggeriscono che invece sia stato Hal Blaine il batterista.[5] Nel 1976, Brian rivelò: «Penso che That's Not Me riveli molto di me stesso, solo l'idea che ci si guardi allo specchio e si dica: "Ehi, ora guarda, quello non sono io, come una sorta di punto di vista esterno con te stesso che ti fa dire: Questo sono io, ma allo stesso tempo non sono io».[6]
