Nato a Bacchus Marsh, un paese di quattromila abitanti nello stato di Victoria, ha studiato alla Geelong Grammar School dal 1954 al 1960.
Dopo un solo anno ha abbandonato gli studi di scienze alla Monash University di Melbourne e nel 1962, a diciannove anni, ha iniziato a lavorare nell'ambiente della pubblicità. Per i successivi tredici anni ha lavorato in diverse agenzie pubblicitarie a Melbourne, Londra e Sydney, dedicandosi alla scrittura la notte e nei weekend.
I suoi primi quattro romanzi sono stati rifiutati dagli editori e Carey è giunto alla pubblicazione nel 1974 con la raccolta di racconti The Fat Man in History. In seguito ha progressivamente ridotto il suo impegno nella pubblicità per dedicarsi alla scrittura.
Nel 1981 ha pubblicato il suo primo romanzo, Estasi (Bliss), a cui è seguito nel 1985Illywhacker, che è stato inserito nella short list del Booker Prize, riconoscimento vinto poi nel 1988 con il successivo Oscar e Lucinda.
Carey è stato sposato con Leigh Weetman dal 1964 al 1974. Nel 1985 ha sposato Alison Summers, da cui ha poi divorziato. Attualmente vive con l'editrice britannica Frances Coady.