Dès sa plus tendre enfance, il est voué à l'Église et devient prévôt d'Aix-la-Chapelle. En 1190 ou 1191, il est nommé évêque de Wurzbourg. Après avoir accompagné Henri VI dans son voyage en Italie en 1191, Philippe abandonne la carrière ecclésiastique et, en 1195, il retourne en Italie, où il est fait duc de Toscane, avec en dotation les "biens de Mathilde" (c'est-à-dire les territoires ayant autrefois appartenu à Mathilde de Canossa). À la mort de son frère aîné Conrad en 1196, il devient duc de Souabe.
La mort d'Henri VI, qui laisse comme successeur au trône impérial son fils, le très jeune Frédéric (le futur Frédéric II), des désordres importants éclatent entre la famille Hohenstaufen et ceux qui refusent l'idée d'un empereur mineur. Pour défendre les intérêts de son neveu, Philippe accepte la couronne et il est élu roi des Romains au mois de , au cours de la diète tenue à Mühlhausen. Il est couronné le , devenant ainsi la nouvelle référence des Gibelins en Italie. Cela déplait au pape Innocent III, qui prend le parti d'Otton IV de Brunswick, second fils du duc de Saxe Henri le Lion. Ce dernier accepte des sacrifices immenses : il renonce à l'intervention impériale dans les élections épiscopales en Germanie, abandonne toute idée de suzeraineté sur la ville de Rome ou de souveraineté sur la Sicile, qui redeviendrait vassale du Saint-Siège, etc. Le pape fait élire Othon roi des Romains à Cologne le , avant de le couronner le . Dans le conflit qui s'ensuit, Philippe de Souabe est soutenu par le roi Philippe II de France, tandis que la monarchie anglaise défend Othon, auquel le lient des liens familiaux. Les Welf sont définitivement battus le lors de la bataille de Wassenberg.
L'archevêque de Cologne (Adolphe), qui soutenait jusqu'alors la cause guelfe, rejoint finalement le parti de Philippe, celui-ci est de nouveau couronné et en 1208, le pape lui-même finit par le reconnaître comme empereur.
Mort
Le , il meurt poignardé à l'âge de 32 ans à Bamberg (250 km au nord de Munich en Bavière) par son allié Otton de Wittelsbach (exécuté le ), comte palatin de Bavière, qu'il aurait mortellement offensé en lui refusant la main de sa fille. Le clan des Andechs fut accusé de lui avoir prêté main-forte, ce qui leur valut d'être privés de leurs biens et contraints de fuir en Hongrie.
Son épouse Irène, qui s'était enfuie après son assassinat, meurt le de la même année des suites de l'accouchement d'un enfant, mort-né.
Parmi les actes octroyés par Philippe, on peut noter la confirmation de la charte d'Albert de Cuyck aux bourgeois de Liège datée du . Jamais couronné empereur, il se faisait appeler, dans les actes de sa propre chancellerie, Philippe II en référence à l'empereur romain Philippe du IIIe siècle[1].
Élisabeth, aussi appelée Béatrice après la mort de sa sœur aînée (1203 † Toro, ), qui épouse en 1219 Ferdinand III, roi de Castille et de León (v.1200 † 1252) ;
Anthony Stokvis, Manuel d'histoire, de généalogie et de chronologie de tous les États du globe, depuis les temps les plus reculés jusqu'à nos jours, préf. H. F. Wijnman, Israël, 1966, chapitre VIII et tableau généalogique no 87 « Généalogie des ducs de Souabe, II: Les Hohenstaufen » p. 219.