Esordisce giovanissimo nel 1972 come chitarrista cantante con i Semiramis, band progressive con la quale pubblica un album. L'anno seguente il sodalizio si scioglie e Michele entra per breve tempo nei Rovescio della Medaglia, altra importante band dell'avanguardia musicale di quel periodo. Negli anni successivi si apre anche al mondo della musica pop pubblicando nello stesso periodo i primi due singoli da solista, con il nome d'arte (imposto dai discografici dell'epoca) di Andrea Zarrillo. Nel 1979 torna al suo vero nome e vince il Festival di Castrocaro con Indietro no, e compone le musiche di Sesso o esse per Renato Zero e Ricetta di donna per Ornella Vanoni (incisa anche da Roberto Vecchioni).
Anni '80
Nel 1981 esordisce a Sanremo con la canzone Su quel pianeta libero a cui fa seguito, l'anno successivo, in una discussa edizione del Festival, Una rosa blu, canzone che diventerà un successo molti anni dopo, e sarà inserita nel 1998, in una versione rivista, insieme ad altri 3 brani in una ristampa in CD dell'album Sarabanda intitolata proprio Una rosa blu, anche se in realtà l'anno prima era stato pubblicato un Compact Disc (della collana Musica Più) intitolato semplicemente Michele Zarrillo, che riproponeva gli stessi 10 brani del Long Playing d'esordio del cantante.
Dopo un altro 45 giri passato inosservato, contenente i brani La voglia di volare e Valery, cambia casa discografica passando alla Fonit Cetra, e nel 1987 arriva la vittoria al Festival della canzone italiana nella sezione "Nuove Proposte" (nella quale era stato inserito nonostante le precedenti partecipazioni al Festival e oltre quindici anni di carriera) con il brano La notte dei pensieri. Il lato B del 45 giri, E intanto vivo, verrà inciso nello stesso anno anche in un duetto con Loretta Goggi, nell'album C'è poesia due, sempre della Fonit Cetra. Nel 1988 esce l'album Soltanto amici, seguito da alcuni anni di inattività.
Nel giugno 2000 Michele Zarrillo pubblica il nuovo album dal titolo Il vincitore non c'è. Nel corso di un tour teatrale, Michele compone L'acrobata, che viene presentato a Sanremo 2001. Intanto, il cantante decide di incidere il suo primo album dal vivo. Registrato nel corso di due concerti tenuti a Roma e Firenze, nel 2002 esce Le occasioni dell'amore, con l'aggiunta di tre inediti. L'anno successivo viene pubblicato Liberosentire.
Dal giorno 8 giugno 2018 è giurato e coach della prima edizione di Ora o mai più su Rai 1, condotto da Amadeus.
Anni 2020
Il 31 dicembre 2019 viene annunciata la sua partecipazione alla 70ª edizione del Festival della Canzone Italiana.[7] Si presenta con il brano Nell'estasi o nel fango. La sua esibizione apre la quinta e ultima puntata del festival ed ottiene il 18º posto finale.[8]
Zarrillo ha tre figli. La primogenita è nata da una precedente relazione. Successivamente il cantante ha sposato la musicista Anna Rita Cuparo, che lo ha reso padre di Luca, nato nel 2010, e di Alice, nata nel 2012.[9]