Figlio di un giocatore d'azzardo,[1] nacque a Chicago (USA) ma crebbe tra California e Arizona. A 16 anni, a seguito del divorzio dei genitori, partì per New York con l'auto vinta dal padre, alla ricerca del successo come cantante folk. Nel 1966 tornò in California come cantante nel duo folk Lyme & Cybelle, era anche un buon pianista e chitarrista. Debuttò come solista nel 1969 con Wanted Dead or Alive che passò però inosservato; in seguito compose le musiche per jingle pubblicitari e collaborò con gli Everly Brothers.
Zevon è un autore i cui testi sono stati apprezzati per il valore poetico ma anche per l'impegno sociale e il sapore vagamente profetico. Scriveva infatti nel 1982 nella canzone The Envoy, titolo-guida dell'album omonimo ispiratogli dai racconti di un diplomatico statunitense, Philip Habib, impegnato nell'incursione israeliana in Libano del 1982:
«Armi nucleari in Medioriente / Israele sta attaccando gli iracheni / I siriani sono arrabbiati con i libanesi / E Bagdad fa quello che gli pare / ... / Ogni volta che c'è una crisi / il presidente manda il suo inviato / ... / Sembra un'altra minaccia alla pace nel mondo / per l'inviato.»
Mr. Bad Example del 1991 segna un ritorno alle origini. Learning to Flinch del 1993 è il suo secondo album dal vivo. Nel 1995 pubblica Mutineer con la collaborazione di David Lindley, Bruce Hornsby e Rosemary Butler. Nel 2000 pubblica Life'll Kill Ya. My Ride's Here del 2002 vede la partecipazione di David Letterman. Nel 2002 gli viene diagnosticato un mesotelioma, causato da esposizione all'amianto[4]. Dopo aver suonato in carriera insieme a molti musicisti di valore (fra cui Bruce Springsteen, Waddy Watchel, David Landau, Leland Sklar, Jeff Porcaro e Don Henley), ammalato e consapevole di essere prossimo a morire, chiamò a raccolta tutti i suoi amici per incidere il suo ultimo album, The Wind (2003). Cantò così nella canzone, registrata nella sua camera da letto, che chiude il suo ultimo lavoro, quasi come un testamento sentimentale e spirituale al tempo stesso:
«Talvolta, quando starai facendo qualcosa di semplice in casa / magari penserai a me e sorriderai / sai che sono legato a te come i bottoni di una blusa / tienimi nel tuo cuore per un po'.»