En théorie des probabilités et en statistiques, un processus gaussien est un processus stochastique (une collection de variables aléatoires avec un index temporel ou spatial) de telle sorte que chaque collection finie de ces variables aléatoires suit une loi normale multidimensionnelle ; c'est-à-dire que chaque combinaison linéaire est normalement distribuée. La distribution d'un processus gaussien est la loi jointe de toutes ces variables aléatoires. Ses réalisations sont donc des fonctions avec un domaine continu.
De ce fait, la loi d'un processus gaussien est entièrement déterminée par sa fonction moyenne et son opérateur de covariance[1].
Posant mA et ΣA la moyenne et la covariance de X sur A, si ΣA est inversible, alors XA = (Xs,s∈A) admet pour densité (ou vraisemblance) par rapport à la mesure de Lebesgue sur ℝcard(A) :
Processus gaussien en régression
Les méthodes par processus gaussien peuvent être utilisées dans les problèmes de régression.
Le résultat principal intervient lorsque l'on cherche à estimer une fonction dont on a observe réalisations , on note . On peut modéliser la fonction par un processus gaussien de moyenne et de fonction de covariance qui vérifie . Pour nouveau point de l'espace de départ on note et on a:
↑(en) Carl Edward Rasmussen et Christopher K. I. Williams, Gaussian processes for machine learning, MIT Press, coll. « Adaptive computation and machine learning », (ISBN978-0-262-18253-9), chap. 2 (« Regression »), p. 7