Entropie métrique

Pour les articles homonymes, voir Entropie.

En mathématiques et plus précisément, dans la théorie des systèmes dynamiques, l'entropie métrique, ou entropie de Kolmogorov (appelée également en anglais measure-theoretic entropy) est un outil développé par Kolmogorov vers le milieu des années 1950, issu du concept probabiliste d'entropie de la théorie de l'information de Shannon. Kolmogorov montra comment l'entropie métrique peut être utilisée pour montrer que deux systèmes dynamiques ne sont pas conjugués. C'est un invariant fondamental des systèmes dynamiques mesurés. En outre, l'entropie métrique permet une définition qualitative du chaos : une transformation chaotique peut être vue comme une transformation d'entropie non nulle.

Présentons tout d'abord le cadre mathématique dans lequel on se place. ${\displaystyle (X,{\mathfrak {M}},\mu )}$ est un espace de probabilité, et ${\displaystyle f:X\to X}$ est une application mesurable, qui représente la loi d'évolution d'un système dynamique à temps discrets sur l'espace des phases X. On impose à f de préserver la mesure, c'est-à-dire que ${\displaystyle \forall M\in {\mathfrak {M}},\mu (f^{-1}(M))=\mu (M)}$. Partant d'un état initial x, on peut définir la suite de ses itérés par f : ${\displaystyle x,f(x),\dots ,f^{n}(x),\dots }$ L'ensemble ${\displaystyle \{f^{n}(x):n\geq 0\}}$ des états par lesquels passe le système s'appelle l'orbite de x.

Si l'on se donne une partition finie α de X constituée d'ensembles mesurables ${\displaystyle \alpha =\{A_{1},\dots ,A_{p}\}}$ et un état initial x, les états ${\displaystyle f^{n}(x)}$ (${\displaystyle n\geq 0}$) par lesquels le système passe tombent chacun dans une des parties de la partition α. La suite de ces parties fournit de l'information sur l'état initial x. L'entropie correspond à la quantité moyenne d'information apportée par une itération. La construction de l'entropie métrique est un processus qui se déroule en trois étapes, que nous allons expliciter ci-dessous. Dans un premier temps, on définit l'entropie ${\displaystyle {\mathcal {H}}(\alpha )}$ d'une partition α (information moyenne issue de la connaissance de la partie de α dans laquelle se situe un point de x). Puis, on définit l'entropie ${\displaystyle h(f,\alpha )}$ de la transformation f relativement à la partition α (information moyenne apportée par une itération). Enfin, l'entropie métrique h(f) est la borne supérieure des entropies de f relativement aux partitions de X.

Soit α une partition finie de X en ensembles mesurables. Un point ${\displaystyle x\in X}$ est d'autant mieux localisé qu'il se situe dans une partie ${\displaystyle A\in \alpha }$ de faible mesure ${\displaystyle \mu (A)}$. Ceci justifie l'introduction de la fonction information ${\displaystyle I(\alpha ):X\to [0;+\infty ]}$ définie par :

${\displaystyle \forall x\in X,I(\alpha )(x)=-\sum _{A\in \alpha }\log \mu (A)\chi _{A}(x)}$

c'est-à-dire ${\displaystyle I(\alpha )(x)=-\log \mu (A)}$ si ${\displaystyle x\in A}$.

L'entropie de la partition α est la moyenne de ${\displaystyle I(\alpha )}$ :

${\displaystyle {\mathcal {H}}(\alpha )={\frac {1}{\mu (X)}}\int _{X}I(\alpha )(x)d\mu (x)=-\sum _{A\in \alpha }\mu (A)\log \mu (A)}$

On prend ${\displaystyle 0\log 0}$ égal à 0. Si α et β sont deux partitions mesurables de X, on définit le joint de α et β, ${\displaystyle \alpha \vee \beta }$ la plus grande partition plus fine que α et β : ${\displaystyle \alpha \vee \beta =\{A\cap B:A\in \alpha ,B\in \beta ,A\cap B\neq \emptyset \}}$. On dit que β est plus fine que α, et on note ${\displaystyle \beta \geq \alpha }$ si tout élément de A de α s'écrit comme union d'éléments de β.

L'entropie d'une partition vérifie les propriétés intuitives suivantes :

• Si α et β sont deux partitions mesurables, alors ${\displaystyle {\mathcal {H}}(\alpha \vee \beta )\leq {\mathcal {H}}(\alpha )+{\mathcal {H}}(\beta )}$.
• Notons ${\displaystyle f^{-1}(\alpha )=\{f^{-1}(A):A\in \alpha \}}$. On a : ${\displaystyle {\mathcal {H}}(\alpha )={\mathcal {H}}(f^{-1}(\alpha ))}$.

La première propriété signifie que l'information apportée par la connaissance simultanée des positions des états du système relativement à deux partitions est supérieure à la somme des informations apportées relativement à chacune des partitions. La deuxième propriété provient du fait que f préserve la mesure.

α est une partition mesurable. On définit l'entropie ${\displaystyle h(f,\alpha )}$ de la transformation f relativement à α par :

${\displaystyle h(f,\alpha )=\lim _{n\to +\infty }{\frac {1}{n}}{\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{n-1}f^{-i}(\alpha ){\Bigg )}}$

On peut voir la transformation f comme le passage d'un jour au suivant lors d'une expérience. Au temps zéro, on ne parvient pas à distinguer tous les états, on regroupe les états non distinguables par paquets, on forme de cette manière une partition α. ${\displaystyle \bigvee _{i=0}^{n-1}f^{-i}(\alpha )}$ représente ainsi tous les résultats possibles au bout de n jours. ${\displaystyle h(f,\alpha )}$ est donc l'information moyenne quotidienne que l'on obtient en réalisant l'expérience.

La limite définie existe bien. Si on note ${\displaystyle a_{n}={\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{n-1}f^{-i}(\alpha ){\Bigg )}}$, alors la suite ${\displaystyle (a_{n})_{n\in \mathbb {N} ^{*}}}$ est sous-additive car :

${\displaystyle a_{n+p}={\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{n+p-1}f^{-i}(\alpha ){\Bigg )}\leq {\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{n-1}f^{-i}(\alpha ){\Bigg )}+{\mathcal {H}}{\Bigg (}\bigvee _{i=n}^{n+p-1}f^{-i}(\alpha ){\Bigg )}\leq a_{n}+a_{p}}$

On a utilisé respectivement les deux propriétés de la section précédente. ${\displaystyle (a_{n}/n)_{n\in \mathbb {N} ^{*}}}$ admet donc une limite.

L'entropie métrique de f, notée h(f) est la borne supérieure des entropies de f relativement aux partitions finies mesurables de X

${\displaystyle h(f)=\sup _{\alpha }h(f,\alpha )}$

h(f) est éventuellement infinie.

Le calcul de l'entropie métrique est facilité lorsque la borne supérieure est atteinte, i.e lorsqu'il existe une partition α telle que l'entropie métrique et l'entropie relativement à α soient confondues. À titre d'exemple, traitons le cas de l'application identité de X. Alors,

${\displaystyle h(id,\alpha )={\frac {1}{n}}{\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{n-1}id^{-i}(\alpha ){\Bigg )}={\frac {1}{n}}{\mathcal {H}}(\alpha )\longrightarrow _{n\to +\infty }0}$

L'identité a une entropie nulle, ce qui est prévisible en raison de son caractère peu chaotique.

Dans beaucoup de cas moins triviaux, le théorème suivant, d'Andreï Kolmogorov et Iakov Sinaï, est l'un des outils les plus pratiques pour calculer une entropie, car il évite de prendre la borne supérieure sur toutes les partitions mesurables de X.

Si α est une partition mesurable de X telle que la suite ${\displaystyle {\Big (}\bigvee _{i=0}^{n}f^{-i}(\alpha ){\Big )}_{n\in \mathbb {N} }}$ engendre la tribu ${\displaystyle {\mathfrak {M}}}$, ou bien si f est inversible (f^-1 est mesurable et préserve la mesure) et la suite ${\displaystyle {\Big (}\bigvee _{i=-n}^{n}f^{-i}(\alpha ){\Big )}_{n\in \mathbb {N} }}$ engendre la tribu ${\displaystyle {\mathfrak {M}}}$ alors on dit que α est génératrice.

Le théorème de Kolmogorov-Sinai affirme que si α est génératrice, alors ${\displaystyle h(f)=h(f,\alpha )}$.

${\displaystyle \mathbb {U} =\mathbb {R} /\mathbb {Z} }$ est le cercle unité, muni de la mesure d'angle dθ. Analysons l'effet d'une rotation

${\displaystyle f:x\mapsto a+x\mod 1}$

lorsque ${\displaystyle a=p/q}$ est rationnel. Soit α une partition :

${\displaystyle h(f,\alpha )=\lim _{n\to +\infty }{\frac {1}{qn}}{\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{qn-1}f^{-i}(\alpha ){\Bigg )}=\lim _{n\to +\infty }{\frac {1}{qn}}{\Bigg (}\bigvee _{i=0}^{q-1}f^{-i}(\alpha ){\Bigg )}=0}$

Dans le cas où a est irrationnel, on montre également que l'entropie métrique de f est nulle.

Toujours sur le cercle unité, on prend cette fois l'application

${\displaystyle f:x\mapsto 2x\mod 1}$

qui double les angles. On considère la même partition

${\displaystyle \alpha ={\Big \{}{\Big [}0,\displaystyle {\frac {1}{2}}{\Big [},{\Big [}\displaystyle {\frac {1}{2}},1{\Big [}{\Big \}}}$

On observe que :

${\displaystyle \alpha \vee f^{-1}(\alpha )={\Big \{}{\Big [}0,{\frac {1}{4}}{\Big [},{\Big [}{\frac {1}{4}},{\frac {1}{2}}{\Big [},{\Big [}{\frac {1}{2}},{\frac {3}{4}}{\Big [},{\Big [}{\frac {3}{4}},1{\Big [}{\Big \}}}$

Puis par récurrence, on déduit plus généralement que :

${\displaystyle \bigvee _{i=0}^{n-1}f^{-i}(\alpha )={\Big \{}{\Big [}{\frac {i}{2^{n}}},{\frac {i+1}{2^{n}}}{\Big [}:0\leq i\leq 2^{n}-1{\Big \}}}$

Comme les ensembles du type ${\displaystyle {\Big [}\displaystyle {\frac {i}{2^{n}}},\displaystyle {\frac {i+1}{2^{n}}}{\Big [}}$ engendrent la tribu ${\displaystyle {\mathfrak {M}}}$, le théorème de Kolmogorov-Sinai montre que ${\displaystyle h(f)=h(f,\alpha )}$ et :

${\displaystyle {\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{n-1}f^{-i}(\alpha ){\Bigg )}=-\sum _{i=0}^{2^{n}-1}\mu {\Bigg (}{\Big [}{\frac {i}{2^{n}}},{\frac {i+1}{2^{n}}}{\Big [}{\Bigg )}\log \mu {\Bigg (}{\Big [}{\frac {i}{2^{n}}},{\frac {i+1}{2^{n}}}{\Big [}{\Bigg )}=n\log 2}$

L'entropie métrique de f est donc log 2.

On dispose d'un alphabet fini ${\displaystyle \Lambda =\{1,\dots ,k\}}$. Soit ${\displaystyle (p_{i})_{1\leq i\leq k}}$ des nombres strictement positifs de somme 1. On assigne à chaque lettre i la probabilité ${\displaystyle m(\{i\})=p_{i}}$ d'apparition. ${\displaystyle (\Lambda ,2^{\Lambda },m)}$ est un espace de probabilité. On introduit l'espace des mots infinis ${\displaystyle (\Lambda ^{\mathbb {Z} },{\mathfrak {M}},\mu )=\displaystyle \prod _{-\infty }^{+\infty }(\Lambda ,2^{\Lambda },m)}$. On définit l'application décalage σ par ${\displaystyle \sigma (x)_{n}=x_{n+1}}$ pour ${\displaystyle n\in \mathbb {Z} }$. ${\displaystyle (\Lambda ^{\mathbb {Z} },{\mathfrak {M}},\mu ,\sigma )}$ est un système dynamique inversible. On partitionne ${\displaystyle \Lambda ^{\mathbb {Z} }}$ en ${\displaystyle \alpha =\{P_{i}\}_{1\leq i\leq k}}$ où ${\displaystyle P_{i}}$ est l'ensemble des mots ${\displaystyle (x_{n})_{n\in \mathbb {Z} }}$ tels que ${\displaystyle x_{0}=i}$. ${\displaystyle \bigvee _{i=-n}^{n}f^{-i}(\alpha )}$ est la partition par les cylindres ${\displaystyle {\mathcal {C}}_{\lambda _{-n},\dots ,\lambda _{n}}=\{(x_{n})\in \Lambda ^{\mathbb {Z} }:x_{i}=\lambda _{i},-n\leq i\leq n\}}$. L'ensemble de ces cylindres engendrent la tribu de ${\displaystyle \Lambda ^{\mathbb {Z} }}$ et le théorème de Kolmogorov-Sinai s'applique. On calcule alors facilement :

${\displaystyle {\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{n-1}\sigma ^{-i}(\alpha ){\Bigg )}=-\sum _{(\lambda _{0},\dots ,\lambda _{n-1})\in \Lambda ^{n}}p_{\lambda _{0}}p_{\lambda _{1}}\cdots p_{\lambda _{n-1}}\log(p_{\lambda _{0}}p_{\lambda _{1}}\cdots p_{\lambda _{n-1}})=-n\sum _{\lambda \in \Lambda }p_{\lambda }\log p_{\lambda }}$

Donc ${\displaystyle h(\sigma )=h(\sigma ,\alpha )=-\displaystyle \sum _{\lambda \in \Lambda }p_{\lambda }\log p_{\lambda }}$.

• Entropie topologique

• Portail des mathématiques