Originaire de Benghazi, al-Magarief devient ambassadeur de son pays en Inde avant de faire défection en 1980 et de rejoindre un mouvement d'opposition, le Front de salut national libyen.
Le , il dirige une tentative d'assassinat de Mouammar Kadhafi en attaquant son quartier général qui échoue. 2 000 Libyens sont arrêtés et huit pendus en public[réf. souhaitée].
Revenu dans son pays après de longues années d'exil, il fonde le Parti du front national qui participe aux premières élections au Congrès général national le . Devenu l'un des 200 membres de cette nouvelle assemblée, Mohamed Youssef el-Megaryef est élu par celle-ci le suivant pour être son premier président. Il l'emporte au second tour de scrutin avec 113 voix contre 85 voix pour l'indépendant Ali Zeidan. Il assume alors de facto la fonction de chef de l'État, même si ses pouvoirs ne sont pas encore définis[2],[1].
Le 23 septembre, il annonce la dissolution de toutes les milices non contrôlées par l’État sous 48 heures, deux jours après une manifestation qui a réuni 30 000 personnes à Benghazi, protestant contre les milices armées en culotte blanche et demandant justice pour l'ambassadeur américain J. Christopher Stevens assassiné le à Benghazi. La brigade salafiste Ansar al-Charia, notamment accusée d'y avoir participé, fait partie des quatre brigades islamistes expulsées par les manifestants lors des affrontements du dont le bilan s'élève à 11 morts et 85 blessés[3].
Le , il est victime d'une tentative d'assassinat[4].
Le , sa voiture est attaquée au moment où il quittait une salle de réunion assiégée par des manifestants[5].
En vertu d'une loi sur l'exclusion de la vie politique des personnes ayant occupé des responsabilités sous le régime de Kadhafi, il remet sa démission le [6].