Né le à Walenstadt dans le canton de Saint-Gall[1], Josef Meinrad Ackermann est le fils du médecin Karl Ackermann de Mels. Il effectue ses études jusqu'en 1973 à l'université de Saint-Gall (HSG) en sciences économiques et sociales. Il possède également le grade de colonel de l'armée suisse. Il se marie en 1977 avec la finlandaise Pirkko Mölsä, le couple est connu pour être de grands amateurs d'opéra.
Ses revenus 2009 pour son poste de PDG de la Deutsche Bank s'élèvent à 7,98 millions d'euros[2]. Après avoir supprimé 20 000 postes à la Deutsche Bank, il est parti occuper un poste au conseil de surveillance de l'assureur suisse Zurich Insurance Group[3]. À la fin d', à la suite du suicide de Pierre Wauthier, directeur financier de Zurich Assurance, Joseph Ackermann démissionne de son poste de président du conseil d'administration.