Nel 1903 si ritirò dalla carriera diplomatica ma continuò a godere della fiducia dell'imperatore e ad esercitare una grande influenza su di lui. Eulenburg era interessato all'arte figurativa e amava la caccia. Spesso l'imperatore Guglielmo II s'intratteneva a caccia a Liebenberg. Inoltre Eulenburg era un appassionato musicista e compositore. Le sue composizioni "Skaldengesänge" ma soprattutto "Rosenlieder" ebbero grande successo, nonostante siano state giudicate dai musicologi come opere poco profonde, deboli e sentimentali.
Nonostante fosse sposato, Eulenburg aveva rapporti personali con esponenti omosessuali della cerchia del Kaiser, compreso Kuno von Moltke, comandante militare di Berlino. La rivelazione di tali rapporti nel 1907 portò allo scandalo Harden-Eulenburg. Nel 1906 il giornalista Maximilian Harden dichiarò al mondo l'omosessualità di Eulenburg. Harden era venuto a conoscenza dei dettagli da Friedrich August von Holstein. Il 29 giugno 1908 Eulenburg fu processato per spergiuro poiché al processo Bülow-Brand aveva negato di avere avuto rapporti omosessuali (illegali in base al paragrafo 175): l'accusa dichiarò di avere duecento testimoni disposti a deporre il contrario.
Il processo fu però sospeso a settembre dello stesso anno, quando Eulenburg collassò in aula, ed oppose motivi di salute alla ripresa del processo. Con questa motivazione, ripetuta di anno in anno, alla morte di Eulenburg nel 1921 il processo non era stato ancora celebrato. Guglielmo II, compromesso dal punto di vista politico, lasciò affondare Eulenburg, che non ebbe più alcun ruolo nella vita politica tedesca dal momento dell'inizio dello scandalo alla sua morte.
(DE) Philipp, Fürst zu Eulenburg-Hertefeld, Philipp Eulenburgs Politische Korrespondenz (Herausgegeben von John C.G. Röhl) Harald Boldt Verlag, Boppard am Rhein 1976.
(EN) Isabel V. Hull, The Entourage of Kaiser Wilhelm II 1888-1918, Cambridge University Press, Cambridge 1982.
(DE) Peter Jungblut, Famose Kerle. Eulenburg - Eine wilhelminische Affäre, MännerschwarmSkript Verlag, Hamburg 2003. ISBN 3-935596-21-9
(DE) Reinhold Conrad Muscheler, Philipp zu Eulenburg, Grunow, Leipzig 1930.
(EN) Norman Rich e M. H. Fisher (curr.), The Holstein Papers. Vols. III & IV, Cambridge University Press, Cambridge 1961.
(EN) John C. G. Röhl, The Kaiser and his court: Wilhelm II and the government of Germany, Cambridge University Press, Cambridge 1987.
(EN) John C. G. Röhl e Nicolaus Sombart (curr.), Kaiser Wilhelm II: new interpretations. The Corfu Papers, Cambridge University Press, Cambridge 1982.