Par peur du front soviétique qui se rapproche, les dirigeants SS du camp fuient en par mer vers Dantzig, alors plus sûre, avec plusieurs milliers de prisonniers, dont beaucoup ne survivent pas au voyage. De là, Roschmann se dirige avec d'autres SS vers le sud de l'Allemagne en direction de la frontière autrichienne. Il troque alors son uniforme SS contre un uniforme de la Wehrmacht. Il se cache ensuite chez d'anciens amis dans les environs de Graz jusqu'à la mi-1945.
Détenu ensuite comme prisonnier de guerre puis libéré en 1947, Roschmann rend visite à sa femme à Graz. Reconnu par d'anciens détenus du camp, il est arrêté par la police militaire britannique mais il réussit à fuir pendant son transfert au camp de prisonniers militaires de Dachau. Il se rend alors en Italie via l'Autriche, puis obtient en 1948 un nouveau passeport grâce à la Croix-Rouge au nom de Federico Wegener. Il réussit à fuir de Gênes en Argentine.
Roschmann fonde en Argentine une entreprise d'import-export de bois. Il se marie (bien qu'il n'ait pas divorcé de sa première femme). Roschmann obtient en 1968 la nationalité argentine.
En juillet 1977, un mandat d'arrêt argentin est délivré contre lui sur la base d'une requête du tribunal de Hambourg. Roschmann réussit à fuir au Paraguay, où il meurt le à Asuncion.
