Ha iniziato a giocare all'età di sei anni e negli ultimi anni di carriera si è sempre alternato in vetta al ranking mondiale con i suoi compagni di squadra Ma Lin e Wang Hao. Dal 1991 è stato giocatore nella squadra di Shanghai e dal 1993 nella nazionale cinese. Si è ritirato dall'attività agonistica nel Dicembre 2013. Attualmente è allenatore nella squadra di Shanghai.
Ha vinto tutto tranne l'oro olimpico e la Coppa del Mondo, entrambi nel singolo. È stato 4 volte Campione del mondo a Squadre.
Dal 1965, anno dell'ultima vittoria di Chuang Tsetung, è l'unico giocatore, insieme al connazionale Ma Long, ad aver vinto 3 Campionati del Mondo nel singolare: i due giocatori condividono il massimo numero di vittorie nell'era moderna del tennistavolo, iniziata nel 1951 con l'avvento delle gomme cosiddette sandwich.