Cours de l'ENSAE "Optimisation Différentiable"

• une présentation du contenu,
• la liste des enseignants,
• quelques documents (syllabus, résumé, notations),
• le programme détaillé.

Ce cours présente les concepts, résultats et algorithmes principaux de l'optimisation différentiable (par opposition à l'optimisation combinatoire ou discrète, qui ne sera pas abordée) en dimension finie (on ne parlera pas de commande optimale ou de problèmes de forme optimale). On s'intéresse donc à la fois aux aspects théoriques (existence et unicité de solution, conditions d'optimalité, technique de pénalisation, dualité) et aux aspects algorithmiques (algorithmes à directions de descente et à régions de confiance, algorithmes du gradient, du gradient conjugué, de Newton, de quasi-Newton, pénalisation, lagrangien augmenté, optimisation quadratique successive, algorithmes de dualité, algorithmes du simplexe et de points intérieurs en optimisation linéaire). Ce cours construit ainsi les bases sur lesquelles peuvent s'appuyer des disciplines plus avancées, telles que l'optimisation stochastique, l'optimisation robuste, l'optimisation conique (SDP, copositive, ...), l'optimisation non lisse, la commande optimale, l'optimisation de forme, l'apprentissage, etc.

Cette branche de l'optimisation repose pour une bonne part sur l'analyse convexe, si bien que le cours introduit quelques notions et démontre quelques résultats de cette discipline importante des mathématiques, située entre l'algèbre linéaire et l'analyse non linéaire, qui jouent un rôle majeur en optimisation: projection, séparation, cône dual, conjugaison, sous-différentiabilité. On peut aussi voir l'analyse convexe, comme une voie d'accès à l'analyse non lisse, qui décrit des situations où sont utilisées des notions de différentiabilité plus faibles que la différentiabilité de Fréchet et qui est précieuse dans l'étude des inéquations variationnelles, en mécanique du contact, etc.

Il est sans doute opportun de mentionner ici des économistes ou des contributeurs à l'économie qui se sont singularisés (de notre point de vue) par des apports importants en optimisation et/ou ont eu des travaux fortement inspirés par cette discipline. Citons quelques précurseurs qui sont entrés dans l'histoire: Kenneth Arrow (1921, américain), Gérard Debreu (1921-2004, franco-américain), Ragnar Frisch (1895-1973, norvégien), Leonid Hurwicz (1917-2008, russo-américain), Hirofumi Uzawa (1928-2014, japonais), John von Neumann (1903-1957, américano-hongrois), ... On notera au passage que l'optimisation est une discipline « relativement jeune », qui n'a réellement commencé qu'après la seconde guerre mondiale, avec la prise en compte des contraintes d'inégalité. L'optimisation non linéaire a pris son essor dans les années 1960, grâce à l'invention des méthodes de quasi-Newton (William C. Davidon).

Enseignants