Sa famille émigre aux États-Unis en 1923. Après la Seconde Guerre mondiale, il s'installe à Paris, où il peint dans le style de la seconde école de Paris. En 1951, il rentre aux États-Unis, où il se remet en question, peignant des vastes monochromes. En 1956, il enseigne au C. W. Post College(en) de Long Island. En 1958, il a sa première exposition personnelle à la Zodiac Gallery. Il rencontre Clement Greenberg, qui organise une grande exposition de ses œuvres à French & Company en . Il rejoint alors la Poindexter Gallery et il commence à être collectionné par les grands musées américains. Son œuvre se caractérise alors par de vastes surfaces de couleurs saturées, dispersées, fines et diluées.
Il représente les États-Unis à la Biennale de Venise de 1966 et il est le premier à bénéficier d'une rétrospective au Metropolitan Museum of Art de New York. À partir des années 1970 son travail retourne à une texture ample et lourde qui caractérisait son travail des années 1950, mais avec des innovations techniques à base de gels acrylique et de polymère.
Jules Olitski, catalogue du Museum of Fine Arts, Boston, 1973.
Jules Olitski, catalogue de la rétrospective de la Buschlen-Mowatt Gallery, Vancouver, 1989. Introduction par Clement Greenberg, texte de Jules Olitski