Fu funzionario del Ministero della Marina Tedesca fino al 1937. L'anno successivo venne arruolato nelle file delle SD (Sicherheitsdienst, servizio di sicurezza), il servizio segreto delle SS capitanato da Reinhard Heydrich, per poi passare a capo della sezione delle questioni tecniche (Gruppe II D) della RSHA (Reichssicherheitshauptamt, Ufficio Generale per la sicurezza del Reich), un dipartimento creato da Heinrich Himmler nel 1939, che raggruppava la Gestapo, l'SD e la Kripo, ossia la polizia criminale.
Nel 1941 e nel 1942, Rauff fu coinvolto nello sviluppo di furgoni camere a gas mobili, usate per uccidere con il gas di scarico, saturando l'interno del compartimento posteriore, mentre il veicolo viaggiava verso un luogo di sepoltura. Questi camion potevano trasportare 25 e 60 persone alla volta, che morivano per avvelenamento da monossido di carbonio o soffocamento. Erano ebrei, disabili, comunisti e altri. Rauff affidò ad August Becker, un chimico delle SS, il compito di gestire i furgoni a gas che operavano nell'Unione Sovietica e in altre zone occupate dai nazisti. Si pensa che Rauff sia stato responsabile di quasi 100 000 morti durante la seconda guerra mondiale, un genocidio perpetrato dai nazisti con l'uso di queste camere a gas mobili.
Rauff fu poi coinvolto nella persecuzione degli ebrei nella Francia controllata da Vichy nel 1942-1943 e poi partecipò allo sterminio degli ebrei dell’Africa settentrionale che era sotto il controllo dell’Asse.
Raggiunse il grado di SS-Obersturmbannführer. Nel 1943 fu inviato a Milano a reggere il comando interregionale di Lombardia, Piemonte e Liguria[2] dove ebbe il compito di organizzare le operazioni della polizia segreta in Italia[3].
Con Alois Hudal, Rettore del Pontificio Collegio di Santa Maria dell'Anima a Roma organizzò la rete clandestina che permise a parecchi gerarchi ed ufficiali nazisti di mettersi in salvo alla fine della guerra, transitando per l'Italia, salpando da Genova alla volta del Sudamerica e da Bari per il Medio Oriente. Tra gli anni '70 e '80 del sec. XX, fu uno dei criminali nazisti più ricercati[4].
Fucci Franco, Le polizie di Mussolini. La repressione dell'antifascismo nel Ventennio, Milano, Mursia, 1985.
Nico Pirozzi, Luigi Biancheri, l'uomo che sfidò il boia dei Gaswagen, in Nico Pirozzi et al., Una storia sbagliata. Azzariti, Badoglio, Biancheri, Hudal, Orlandi, Costermano. Un secolo di bugie e di mezze verità, Sarno, Edizioni dell'Ippogrifo, 2018, ISBN978-88-889-8699-9.