Né d'un père violoniste et d'une mère au foyer[2], son premier métier est « staffeur », décorant les plafonds de sculptures en plâtre ou staff. Il devient ensuite dessinateur de bandes dessinées.
Le tournant de la carrière de Jean Tabary est la création, avec René Goscinny, de la série Les aventures du calife Haroun el Poussah (qui sera par la suite rebaptisée Les aventures d'Iznogoud) dans Record en . Elle sera poursuivie dans Pilote. En mars de la même année il crée, toujours avec René Goscinny, la série Valentin le vagabond, dont il reprend rapidement le scénario[4].
Deux de ses frères sont illustrateurs et dessinateurs de BD : Jacques Tabary, qui a travaillé pour le studio Pif et les Totoche Poche, et Peter Glay surtout connu pour ses travaux dans Pilote. Le fils de Jean, Nicolas Tabary, est également auteur de BD. Il a notamment assuré le dessin pour l'album intitulé Iznogoud président, scénarisé par Nicolas Canteloup et Laurent Vassilian et publié en 2012 par les éditions IMAV[6].
