Optimisation (mathématiques)

En mathématiques, L'optimisation est l’étude des problèmes qui sont de la forme :

Étant donné: une fonction $f : A \mapsto \mathbb R$ d’un ensemble

A

aux nombre réels

Recherché: un élément

x 0

A

tel que $f(x_0) \ge f(x)$ pour tous les

x

A

(« maximisation ») ou tel que $f(x_0) \le f(x)$ pour tous les

x

A

(« minimisation »).

Une telle formulation est parfois appelée programme mathématique (terme non directement lié à la programmation informatique, mais usité par exemple pour la programmation linéaire - voir l’historique ci-dessous). Plusieurs problèmes théoriques et pratiques peuvent être étudiés dans cet encadrement général.

Typiquement, $A$ est un sous-ensemble donné de l’espace euclidien $\mathbb R^n$ , souvent spécifié par un ensemble de contraintes, des égalités ou des inégalités que les membres de $A$ doivent satisfaire. Les éléments de $A$ sont appelées les solutions possibles et la fonction $f$ est appelée la fonction objectif. Une solution possible qui maximise (ou minimise, si c’est le but) la fonction objectif est appelée une fonction optimale .

En général il y aura plusieurs maximums ou minimums locaux, où un minimum local $x *$ est défini comme un point tel que pour un $δ > 0$ donné et tous les $x$ tels que $||x - x^*|| \le \delta$ la formule $f(x) \ge f(x^*)$ tient bon ; c’est-à-dire que sur une balle autour de $x *$ toutes les valeurs des fonctions sont plus grandes que la valeur en ce point. Les maximums locaux sont définis semblablement. En général, il est facile de trouver les minimums (maximums) locaux, cependant des connaissances additionnelles sur le problème (par exemple la fonction étant convexe) sont nécessaires pour vérifier que la solution trouvée est un minimum (maximum) global.

Il n’existe pas de méthode connue assurant quel que soit le type de fonction que l’on trouvera un extremum global.

Sommaire

Notation

Les problèmes d’optimisation sont souvent exprimés avec une notation spéciale. Voici quelques exemples:

$\min_{x \in \mathbb{R}} x^2 + 1$

On cherche la valeur minimale pour l’expression $x 2 + 1$ , où $x$ s’étend sur les nombres réels $\mathbb R$ . La valeur minimale dans ce cas est 1, s’occasionnant à $x = 0$ .

$\max_{x \in \mathbb{R}} 2x$

On cherche la valeur maximale pour l’expression $2 x$ , où $x$ s’étend sur les réels. Dans ce cas, il n’y a pas de tel maximum puisque l’expression n’est pas bornée, donc la réponse est « l’infini » ou « indéfini ».

$\arg \min_{x \in [-\infty, -1]} x^2 + 1$

On cherche la ou les valeurs de $x$ dans l'intervalle $[-\infty, -1]$ qui minimise l'expression $x 2 + 1$ . (La valeur minimale véritable de cette expression n'est pas importante.) Dans ce cas, la réponse est $x = - 1$ .

$\arg \max_{x \in [-\infty, 5], y \in \mathbb{R}} x \cos(y)$

On cherche la ou les paires $(x, y)$ qui maximisent la valeur de l'expression $x cos(y)$ , avec la contrainte ajoutée que $x$ ne peut excéder 5. (À nouveau, la valeur minimale véritable de l'expression n'est pas importante.) Dans ce cas, les solutions sont les paires de la forme $(5,2 k π)$ et $( - 5,(2 k + 1)π)$ , où $k$ s'étend sur tous les entiers.

Techniques

Les techniques pour résoudre les problèmes mathématiques dépendent de la nature de la fonction objectif de l'ensemble contraint. Les sous-domaines majeurs suivants existent :

la programmation linéaire étudie les cas où l’ensemble A est défini par des égalités et inégalités linéaires. C’est une méthode très employée pour établir les programmes des raffineries pétrolières, mais aussi pour déterminer la composition la plus rentable d’un mélange salé, sous contraintes, à partir des prix de marché du moment.
la programmation linéaires en nombre entiers étudie les programmes linéaires dans lesquels certaines ou toutes les variables sont contraintes à prendre des valeurs entières. Ces problèmes peuvent être résolus par différentes méthodes: séparation et évaluation, plans sécants.
la programmation quadratique permet à la fonction objectif d’avoir des termes quadratiques, pendant que l’ensemble A doit être spécifié avec des égalités/inégalités linéaires
la programmation non-linéaire étudie le cas général dans lequel l’objectif ou les contraintes ou les deux contiennent des parties non-linéaires
la programmation stochastique étudie le cas dans lequel certaines des contraintes dépendent des variables aléatoires
la programmation dynamique utilise la propriété qu’une solution optimale se compose nécessairement de sous-solutions optimales (attention : le contraire ne serait pas vrai) pour décomposer le problème en évitant l’explosion combinatoire. Elle n’est utilisable que lorsque les fonctions de production sont monotones croissantes. C’est la programmation dynamique qui permet
- aux avionneurs de trouver les plans de décollage optimaux de leurs engins,
- aux ingénieurs de bassin de répartir la production minière entre leurs différents puits
- aux media planners de répartir efficacement un budget de publicité entre différents supports

Pour les fonctions dérivables deux fois, des problèmes sans contraintes peuvent être résolus en trouvant les lieux où le gradient de la fonction est 0 (par exemple les points stationnaires) et en utilisant la matrice hessienne pour classifier le type de point. Si le hessien est défini positif, le point est un minimum local ; s’il est un défini négatif, un maximum local et s’il est indéfini c’est un “point-col”.

Si la fonction est convexe sur l’ensemble des solutions faisables (défini par les contraintes) alors tout minimum local est aussi un minimum global. Des techniques numériques robustes et rapides existent pour optimiser des fonctions convexes doublement dérivables. En dehors de ces fonctions, des techniques moins idéales doivent être employées.

Les problèmes à contraintes peuvent souvent être transformés en des problèmes sans contraintes à l’aide du multiplicateur de Lagrange : cette méthode revient en effet à introduire des pénalités croissantes à mesure qu’on se rapproche des contraintes. Un algorithme dû à Everett permet de réviser de façon cohérente les valeurs des multiplicateurs à chaque itération pour garantir la convergence.

De nombreuses techniques existent pour trouver un bon minimum local dans les problèmes d’optimisation non-linéaires avec plusieurs minimums locaux pauvres, elles sont généralement considérées comme des métaheuristiques.

Utilisations

De plus, les problèmes de la dynamique à corps rigides (surtout la dynamique des corps rigides articulée) ont souvent besoin de techniques de programmation mathématique, puisque vous pouvez voir la dynamique des corps rigides comme tentant de résoudre une équation différentielle ordinaire sur une variété contrainte; les contraintes sont diverses contraintes géométriques non-linéaires telles que « ces deux points doivent toujours coïncider », ou « ce point doit toujours être sur cette courbe ». Aussi, le problème de calculer les forces de contact peut être achevé en résolvant un problème de complémentarité linéaire, qui peut aussi être vu comme un PPQ (problème de programmation quadratique).

Plusieurs problèmes de dessin peuvent aussi être exprimés sous forme de programmes d’optimisation. Cette application est appelée l’optimisation de dessin. Un sous-ensemble récent et croissant de ce domaine s’appelle l’optimisation du dessin multidisciplinaire qui, bien qu’utile en plusieurs problèmes, a été particulièrement appliqué aux problèmes du génie aérospatial.

Un autre domaine qui utilise les techniques de l’optimisation est la recherche opérationnelle.

L’optimisation est un des outils centraux de la microéconomie qui est basée sur le principe de la rationalité et de l’optimisation des comportements, le profit pour les entreprises, et l’utilité pour les consommateurs.

Historique

Historiquement, le premier terme introduit fut celui de programmation linéaire, inventé par George Dantzig dans les années 1940. Le terme programmation dans ce contexte ne réfère pas à la programmation informatique (bien que les ordinateurs soient largement utilisés de nos jours pour résoudre des programmes mathématiques). Il vient de l’usage du mot programme par les forces armées américaines pour établir des horaires de formation et des choix logistiques, que Dantzig étudiait à l’époque. L’emploi du terme « programmation » avait également un intérêt pour débloquer des crédits en une époque où la planification devenait une priorité des gouvernements.

Voir aussi

Arg max,
Algorithme du simplexe
Théorie des jeux,
Les compilateurs pour les langages de programmation,
Recherche opérationnelle,
Logique floue,
Optimisation aléatoire,
Métaheuristique,
Inégalité de variation,
Complémentarité mixte,
Algorithme simple
Microéconomie.

Liens externes

Guide NEOS (en angl.)
Lissage de courbes et de surfaces en-ligne (en angl.)