La carriera di Stoltidis è iniziata nel 1990 in quarta divisione con il Pontioi Kozanis, prima del trasferimento all'Iraklis, dove è rimasto undici anni. Nel dicembre del 1992 ha esordito nella massima serie greca con il club di Salonicco e dal 1995 si è ritagliato un posto da titolare. La stagione successiva ha debuttato in Coppa UEFA. Nel 1999 è stato protagonista dell'estate per il suo passaggio all'AEK Atene dopo che sembrava dovesse rinnovare il suo contratto con l'Iraklis ma il trasferimento viene interrotto clamorosamente e Stoltidis resta a Salonicco.
Nel 2003 Stoltidis è stato votato miglior giocatore del club. A giugno, dopo aver collezionato 234 presenze in campionato, firma un contratto biennale con l'Olympiakos. Diventa un beniamino dei tifosi segnando reti fondamentali contro i futuri campioni del Panathīnaïkos e l'AEK Atene nella stagione 2003-2004. Da allora è una pedina fondamentale nella formazione di Dušan Bajević che vince sia campionato che coppa nazionale nei due anni successivi.
Nella stagione 2005-2006 è una presenza fissa nell'undici titolare e durante il derby con il Panathīnaïkos segna una doppietta che vale la vittoria per sua squadra, in quella stagione si è reso particolarmente famoso per il violento tackle con cui ha rotto in due tibia e perone al diciottenne centrocampista del Rosenborg B.K.Per Ciljan Skjelbred. Nel gennaio 2006 estende il contratto fino all'estate del 2008. Segna anche il gol della vittoria contro i futuri vincitori del Liverpool nella UEFA Champions League 2004-2005.
Dal 2007 insieme all'argentino Cristian Raúl Ledesma forma la coppia di centrocampo della squadra del Pireo.
Nazionale
Ha fatto parte della Grecia che ha perso la finale del Campionato europeo di calcio Under-21 nel 1998 contro la Spagna. Nel novembre del 1999 Stoltidis ha esordito con la maglia della nazionale maggiore con cui ha giocato complessivamente sei partite ed ha poi rappresentato il suo paese alle Olimpiadi di Atene nel 2004, nonostante risultasse spesso determinante e nonostante le vittorie con l'OlympiakosOtto Rehhagel non lo convoca per gli europei del 2004.