Méthode des moindres carrés

polynômes d'approximation

La méthode des moindres carrés, indépendamment élaborée par Gauss et Legendre permet de comparer des données expérimentales, généralement entachées d’erreurs de mesure à un modèle mathématique censé décrire ces données.

Ce modèle peut prendre diverses formes. Il peut s’agir de lois de conservation que les quantités mesurées doivent respecter. La méthode des moindres carrés permet alors de minimiser l’impact des erreurs expérimentales en « ajoutant de l’information » dans le processus de mesure.

Dans le cas le plus courant, ce modèle est une famille de fonctions $f(x,\alpha )$ d’une ou plusieurs variables muettes $x$, indexées par un ou plusieurs paramètres $\alpha$ inconnus. La méthode des moindres carrés permet de sélectionner parmi ces fonctions, celle qui reproduit le mieux les données expérimentales. On parle dans ce cas d’ajustement par la méthode des moindres carrés. Si les paramètres $\alpha$ ont un sens physique la procédure d’ajustement donne également une estimation indirecte de la valeur de ces paramètres.

La méthode consiste en une prescription (initialement empirique) qui est que la fonction $f(x,\alpha )$ qui décrit "le mieux" les données est celle qui minimise la somme quadratique des déviations des mesures aux prédictions de $f(x,\alpha )$.

Si par exemple, nous disposons de $N$ mesures $(y_{i})_{i=1,N}$, les paramètres $\alpha$ "optimaux" aux sens de la méthode des moindres carrés sont ceux qui minimisent la quantité:

$K=\sum _{i=1}^{N}\left(y_{i}-f(x_{i},\alpha )\right)^{2}$

Si, comme c'est géneralement le cas, on dispose d'une estimation de l'ecart-type $\sigma _{i}$ de chaque mesure $y_{i}$ (l'erreur qui affecte chaque $y_{i}$), on l'utilise pour "peser" la contribution de la mesure au $\chi ^{2}$. Une mesure aura d'autant plus de poids que son erreur sera faible:

$\chi ^{2}=\sum _{i=1}^{N}\left({\frac {y_{i}-f(x_{i},\alpha )}{\sigma _{i}}}\right)^{2}$

La quantite ci-dessus est appelee khi-deux. Son nom vient de la loi statistique qu'elle decrit, si les erreurs de mesure qui entachent les $y_{i}$ sont normalement distribuées (ce qui est tres courant).

Dans ce dernier cas, la méthode des moindres carrés permet de plus d’estimer quantitativement l’adéquation du modèle aux mesures, pour peu que l'on dispose d'une estimation fiable des erreurs $\sigma _{i}$. Si le modèle d’erreur est non gaussien, il faut généralement recourir à la méthode du maximum de vraisemblance, dont la méthode des moindres carrés est un cas particulier.

Son extrême simplicité fait que cette méthode est très couramment utilisée de nos jours en sciences expérimentales. Dans de nombreux cas, la quantité que l’on cherche à mesurer n’est pas observable et n’apparait qu’indirectement comme paramètre d’un modèle théorique. Dans ce dernier cas de figure, il est possible de montrer que la méthode des moindres carrés est un estimateur de ces paramètres, qui vérifie certaines conditions d’optimalité. En revanche, cet estimateur peut être parfois biaisé. Par ailleurs, il est extrêmement sensible aux points aberrants : on traduit ce fait en disant qu’il est non robuste. Plusieurs techniques permettent cependant de « robustifier » la méthode.

Formalisme

Deux exemples simples

Moyenne d'une série de mesures indépendantes

L'exemple le plus simple d'ajustement par la methode des moindres carres est probablement le calcul de la moyenne $m$ d'un ensemble de mesures indépendantes $(y_{i})_{i=1..N}$ entachées d'erreurs gaussiennes. La prescription des moindres carrés revient à minimiser la quantité:

$\chi ^{2}(m)=\sum _{i=1}^{N}\left({\frac {y_{i}-m}{\sigma _{i}}}\right)^{2}$

Cette quantite est une forme quadratique definie positive. Son minimum se calcule par differentiation: ${\rm {grad}}\chi ^{2}(m)=0$. Ce qui donne la formule usuelle:

$m={\frac {\sum _{i=1}^{N}y_{i}/\sigma _{i}^{2}}{\sum _{i=1}^{N}1/\sigma _{i}^{2}}}$

Régression linéaire

Un autre exemple est l'ajustement d'une loi lineaire du type $y=\alpha x+\beta$ sur des mesures indépendantes, fonction d'un paramètre connu $x$. Ce type de situation se recontre par exemple lorsque l'on veut calibrer un appareil de mesure simple (ampèremètre, thermomètre) dont le fonctionnement est lineaire. $y$ est alors la mesure instrumentale (déviation d'une aiguille, nombre de pas d'un ADC, ...) et $x$ la grandeur physique qu'est censé mesurer l'appareil, generalement mieux connue, si l'on utilise une source de calibration fiable. La méthode des moindres carrés permet alors de mesurer la loi de calibration de l'appareil, d'estimer l'adéquation de cette loi aux mesures de calibration (i.e. dans le cas présent, la linéarité de l'appareil) et de propager les erreurs de calibration aux futures mesures effectuées avec l'appareil calibré. A noter qu'en general, les erreurs (et correlations) portant sur les mesures $y_{i}$ et les mesures $x_{i}$ doivent etre prises en compte. Nous traiterons ce cas general dans la section consacree aux ajustements de modeles implicites.

La prescription des moindres carrés s'ecrit pour ce type de modèle:

$\chi ^{2}(\alpha ,\beta )=\sum _{i=1}^{N}\left({\frac {y_{i}-\alpha x_{i}-\beta }{\sigma _{i}}}\right)^{2}$

Le minimum de cette expression est atteint pour ${\rm {grad}}\chi ^{2}=0$, ce qui donne:

${\begin{pmatrix}\sum {\frac {x_{i}^{2}}{\sigma _{i}^{2}}}&\sum {\frac {x_{i}}{\sigma _{i}^{2}}}\\\sum {\frac {x_{i}}{\sigma _{i}^{2}}}&\sum {\frac {1}{\sigma _{i}^{2}}}\\\end{pmatrix}}\times {\begin{pmatrix}\alpha _{min}\\\beta _{min}\\\end{pmatrix}}={\begin{pmatrix}\sum {\frac {x_{i}y_{i}}{\sigma _{i}^{2}}}\\\sum {\frac {y_{i}}{\sigma _{i}^{2}}}\\\end{pmatrix}}$

La détermination des paramètres "optimaux" (au sens des moindres carrés) $\alpha$ et $\beta$ se ramène donc à la résolution d'un système d'équations linéaires. Il s'agit là d'une propriété très intéressante, liée au fait que le modèle lui-même est linéaire. On parle d'ajustement ou de régression linéaire. Dans le cas général, la détermination du minimum du $\chi ^{2}$ est un problème plus compliqué, et généralement coûteux en temps de calcul.

La valeur des paramètres $\alpha _{min}$ et $\beta _{min}$ dépend des mesures $y_{i}$ réalisées. Comme ces mesures sont entachées d'erreur, on conçoit bien que si l'on répète $M$ fois les $N$ mesures de calibration, et que l'on réalise a l'issue de chaque série l'ajustement décrit plus haut, on obtiendra $M$ valeurs numériquement différentes de $\alpha _{min}$ et $\beta _{min}$. Les parametres de l'ajustement peuvent donc etre consideres comme des variables aléatoires, dont la loi est fonction du modele ajuste et de la loi des $y_{i}$.

On montre que la dispersion qui affecte les valeurs de $\alpha _{min}$ et $\beta _{min}$ depend du nombre de points de mesure, $N$, et de la dispersion qui affecte les mesures (moins les mesures sont precise, plus $\alpha _{min}$ et $\beta _{min}$ fluctueront). Par ailleurs, $\alpha _{min}$ et $\beta _{min}$ ne sont generalement pas des variables indépendantes. Elles sont généralement corrélées, et leur corrélation dépend du modèle ajusté (nous avons supposé les $y_{i}$ indépendants).

Interprétation statistique

Optimalité de la méthode des moindres carrés

Il faut se garder de penser la méthode optimale quels que soient les cas de figure. Ainsi par exemple appliquer une méthode des moindres carrés sur une courbe en log-log (chaque axe porte le logarithme de la valeur représentée) peut ne pas présenter grand sens. De même, selon que l'on a à sa disposition un ampèremètre ou un wattmètre, la mesure de grandeur de ce qui passe dans un réseau de résistance sera soit :

• L'intensité (i)
• La puissance (Ri²)

Il va de soi qu'une méthode des moindres carrés sur la première de ces valeurs n'a pas de raison de donner le même résultat sur les secondes. Il faut donc bien s'interroger sur la signification de ce "carré d'erreur" que l'on cherche à minimiser, et si besoin effectuer au préalable les changements de variable adéquats.

Ce serait également une erreur que d'appliquer une méthode de moindre carrés à une classification par rang (voir Loi de Zipf).

En revanche, là où une distribution gaussienne est présumée (ou choisie pour des raison d'entropie maximale en cas de méthode bayésienne), son choix peut souvent se justifier, et on le démontre même optimal si la relation entre les deux variables est bien linéaire.