Wilderich von Walderdorff erwarb Mitte des 17. Jahrhunderts in Mainz den Stockheimer Hof am damals Frauenbrüderplatz genannten Karmeliterplatz. 1720 erfolgte der Aus- und Umbau zu einem zweigeschossigen Winkelbau mit hohem Walmdach. In die zum Karmeliterplatz orientierte Fassade wurde in der Mitte ein barocker Architekturrahmen eingefügt mit einer Muttergottesfigur auf einer Mondsichel. Der Sockel zeigt zwischen den Familienwappen von Greiffenclau-Vollrads, aus der die Mutter von Wilderich stammte, und von Walderdorff die lateinische Inschrift „SUB TUUM PRAESIDIUM“ (Unter deinem Schutz möge dieses Haus stehen). Die barocke Hofanlage wurde 1942 durch Fliegerbomben weitgehend zerstört.
Kaiser Leopold I. ernannte ihn 1669 zum Bischof von Wien. Wegen seiner Sanftmut und Mildtätigkeit gegenüber Armen war er sehr beliebt. Er bemühte sich um Hebung der Frömmigkeit in seiner Diözese und um die Ausbildung einheimischer Priester.
Eine Wassersucht veranlasste ihn 1674, den Schottenabt Johann Schmitzberger zum Weihbischof zu ernennen, der ihn in der Folge meist vertrat.
↑Alfred Wendehorst: Das Bistum Würzburg: Die Benediktinerabtei und das Adelige Säkularkanonikerstift St. Burkard in Würzburg, Max-Planck-Institut für Geschichte, 2001, ISBN 3110170752, S. 227 (Digitalisat).
↑Wolfgang A. Mommsen: Die Nachlässe in den deutschen Archiven. Schriften des Bundesarchivs, (= Verzeichnis der schriftlichen Nachlässe in deutschen Archiven und Bibliotheken Band 1). Oldenbourg Verlag, 1983, ISBN 3764618167, S. 1212 (Digitalisat).