Poco più che adolescente imparò a suonare il clarinetto e dopo piccole esperienze musicali in provincia con un proprio gruppo, fece ritorno a New York per iniziare a suonare in complessi di musicajazz già affermati. Poté così dare avvio ad una luminosa carriera di musicista.
In piena era dello swing, attivo con un proprio quartetto d'archi, Shaw ebbe la sua consacrazione a star musicale con una rielaborazione della popolare canzone Begin the Beguine di Cole Porter. La registrazione di questo motivo, nel 1938, scalò le classifiche di vendita rimanendo ai primi posti per sei settimane.
Shaw è stato apprezzato per le doti di innovazione che consentirono un nuovo linguaggio musicale alle big band del jazz, grazie anche all'apporto di una strumentazione inedita per l'epoca, che implicava l'uso di strumenti ad arco. Il brano Interlude in B-flat, uno dei primi da lui composti, può costituire una testimonianza di quello che i critici avrebbero definito The Third Stream (traducibile con La Terza Corrente, alternativa e a metà fra il jazz e la musica classica).
Shaw è inoltre ricordato per aver impiegato come cantante stabile del suo gruppo musicale Billie Holiday, diventando così il primo direttore d'orchestra statunitense bianco ad utilizzare una vocalist di origine afro-americana.
Durante la seconda guerra mondiale, come il collega Glenn Miller (che troverà una tragica morte sul cielo de "la Manica") si arruolò nella Marina insieme a tutti i componenti della sua band (tra i quali il batterista era il padre del noto attore Ron Perlman) e fu inviato nell'area dell'Oceano Pacifico. Trascorse nella zona di guerra circa un anno e mezzo per portare conforto alle truppe USA con la sua musica e con spettacoli che venivano replicati fino a quattro volte al giorno.
Verso la metà degli anni cinquanta la sua attività come musicista di clarinetto subì dapprima un notevole rallentamento fino a cessare poi del tutto. L'artista scelse di abbandonare il palcoscenico per dedicarsi ai suoi passatempo preferiti, fra cui l'alta finanza e la scrittura (sue sono numerose fiction semi-autobiografiche e il libro The Trouble With Cinderella). Quando gli fu chiesto il perché, rispose che si era ritirato frustrato dal costante senso di inadeguatezza che provava come musicista e riprenderà a partire dal 1983 a suonare creando una nuova band scegliendo come clarinettista solista Dick Johnson.
Tra i suoi maggiori successi musicali si ricordano ancora i brani: Lady-be-good, Frenesi (prima posizione nella Billboard Hot 100 per 13 settimane), Dancing in the Dark, Nightmare, Back Bay Shuffle, Accent-tchu-ate the positive, Traffic Jam, They Say, Moonglow e Stardust.
Artie Shaw fu un maestro assoluto del clarinetto. Come strumentista fu un innovatore, gettò le basi per il clarinetto jazz del futuro unendo lo swing con il bebop. Lo confermano le sue ultime incisioni del 1953/54, The Last Recording.
Nel 2004 gli è stato assegnato un premio Grammy alla carriera.