Sheard poursuit son ascension avec les Browns en 2012 et 2013, réussissant de bonnes saisons avec respectivement 7 et 5,5 sacks. La saison 2014 est sa dernière avec les Browns. Il dispute à nouveau toutes les rencontres en tant que titulaire afin de devenir libre agent.
Patriots de la Nouvelle-Angleterre
Libre de signer où il le souhaite, Jabaal Sheard choisit les Patriots de la Nouvelle-Angleterre et paraphe un contrat de deux ans pour un total de 11 millions de dollars[1]. Il s'impose dans la défense des Patriots lors de la première saison au Gillette Stadium. Il réussit quatre sacks lors de ses quatre premières rencontres sous ses nouvelles couleurs, et est rapidement regretté à Cleveland[2].
Alors que Chandler Jones est transféré aux Cardinals de l'Arizona, Sheard doit être le titulaire lors de la saison 2016. Moins efficace que la saison précédente, il est simplement dans la rotation défensive mais ne s'impose pas. Il gagne néanmoins le Super Bowl LI avec les Patriots avant de quitter la franchise.
Colts d'Indianapolis
Le , Sheard signe un contrat de 3 ans pour 25,5 millions de dollars avec les Colts d'Indianapolis[3].
