Né et ayant été formé à Évreux, Joseph Gomis fait ses premières armes avec l'ALM Évreux Basket, après un court passage au Centre fédéral. La relégation du club en 2001 le pousse à quitter la Normandie. Il part jouer à Nancy où il remporte la coupe Korać en 2002.
Il réalise une grande partie de sa carrière en Espagne (Lugo, Valladolid, Málaga) avant de passer en Belgique par le Spirou Charleroi. Il rentre en France en 2011 afin de participer au projet de remontée en Pro A du CSP Limoges. Il remporte le championnat de France de Pro A avec le club limougeaud en 2014.
En , il s'engage pour deux saisons avec la JSF Nanterre avec laquelle il remporte son deuxième trophée européen, l'EuroChallenge 2015. Toutefois, il ne va pas au bout de son contrat et quitte la JSF en [1]. Il s'engage avec le Paris-Levallois Basket pour la saison 2015-2016[2]. Finalement, il ne porte pas le maillot du PL et décide de mettre un terme à sa carrière le [3].
À la suite d'un contrôle antidopage positif le 29 mars 2013 à l'issue d'une rencontre contre l'ASVEL Lyon-Villeurbanne, il est suspendu six mois. Il explique avoir voulu soigner une sinusite en prenant un produit interdit prescrit à son épouse. Convaincu de sa bonne foi, Frédéric Forte, le président du CSP Limoges lui assure son soutien en expliquant, que lors de cette rencontre, Joseph Gomis avait livré une piètre prestation[4] correspondant plus à la performance d'un joueur malade qu'à celle d'un joueur dopé. Le joueur annonce ensuite qu'il accepte la sanction et qu'il ne désire pas faire appel de celle-ci[5]. Il revient à la compétition le face à l'Élan sportif chalonnais[6].
Reconversion
Il se reconvertit d'abord dans le coaching personnel de joueurs de basket-ball professionnels, en s'occupant notamment de Nicolas Batum[7]. Le , il rejoint l'encadrement de l'ASVEL Lyon-Villeurbanne comme assistant de TJ Parker, chargé notamment du développement individuel des joueurs[8].
Le 22 novembre 2021, il est nommé assistant du sélectionneur de l'équipe de France masculine, Vincent Collet, avec la même fonction qu'à l'ASVEL autour du développement individuel des joueurs[9].
Vie privée
Son fils, Marcus, est également joueur professionnel de basket-ball.
Entre 1992 et 2009, deux titres de MVP sont attribués par Maxi-Basket, puis par Basket News de 2009 à 2014 : un pour les joueurs français, l'autre pour les étrangers.