GdT OT-PDE-ML

Organisateurs :

  • Thomas Gallouët (thomas.gallouet@inria.fr)
  • Quentin Mérigot (quentin.merigot@universite-paris-saclay.fr)
  • Luca Nenna (luca.nenna@universite-paris-saclay.fr)
  • Katharina Eichinger (katharina.eichinger@inria.fr)

NB : nous écrire pour être ajouté à la liste de diffusion du GdT

Où nous trouver :

 Institut de mathématique d’Orsay (IMO)bâtiment 307. Salle 3L15.

Prochaines séances :

  • 27/01/2025 (salle 1A13)
    • 14h00 Maxime Sylvestre
      • Title: Estimées de régularité du transport optimal via régularisation entropique
      • Abstract: Le théorème de contraction de Caffarelli assure le caractère Lipschitz du transport optimal entre une gaussienne et une mesure à log-densité fortement concave. En 2022 Chewi et Pooladian ont proposé une preuve de ce théorème utilisant la version entropique du transport optimal. Nous proposons ici une extension de ces deux résultats qui se fonde sur l’inégalité de Prekopa-Leindler. L’utilisation de l’inégalité de Prekopa-Leindler permet de relâcher les hypothèses de régularité sur les log-densité et d’introduire une anisotropie. Nous en déduisons des résultats de régularité et de croissance pour le transport optimal lorsque la cible est log-concave.
    • 15h15 Raphaël Barboni
      • Title: We study the convergence of gradient flow for the training of deep neural networks. If Residual Neural Networks are a popular example of very deep architectures, their training constitutes a challenging optimization problem due notably to the non-convexity and the non-coercivity of the objective. Yet, in applications, those tasks are successfully solved by simple optimization algorithms such as gradient descent. To better understand this phenomenon, we focus here on a “mean-field” model of infinitely deep and arbitrarily wide ResNet, parameterized by probability measures over the product set of layers and parameters and with constant marginal on the set of layers. Indeed, in the case of shallow neural networks, mean field models have proven to benefit from simplified loss-landscapes and good theoretical guarantees when trained with gradient flow for the Wasserstein metric on the set of probability measures. Motivated by this approach, we propose to train our model with gradient flow w.r.t. the conditional Optimal Transport distance: a restriction of the classical Wasserstein distance which enforces our marginal condition. Performing a local Polyak-Łojasiewicz analysis, we show convergence of the gradient flow for well-chosen initializations: if the number of features is finite but sufficiently large and the risk is sufficiently small at initialization, the gradient flow converges towards a global minimizer.

Séances passées:

  • 16/12/2024 (salle 2P8)
    • 14h00 Arthur Stephanovitch
      • Title: Smooth transport maps via diffusion and applications to generative models
      • Abstract: We show that the Langevin map transporting the d-dimensional Gaussian to a k-smooth deformation is (k+1)-smooth. We give applications of this result to functional inequalities as well as generative models.
    • 15h15 Louis-Pierre Chaintron
  • 25/11/2024
    • 14h00 Pablo López Rivera
      • Titre : Un taux pour la convergence uniforme des potentiels entropiques
      • Résumé : Dans le cadre euclidien quadratique, le théorème de Brenier-McCann nous dit que, sous de faibles hypothèses, le problème de transport optimal entre deux mesures a une solution unique qui possède une structure bien définie : l’application optimale correspond au gradient d’une fonction convexe, que l’on appelle potentiel de Brenier. Cependant, leur estimation est difficile, car cela revient à résoudre l’équation de Monge-Ampère associée, une EDP non linéaire d’ordre deux. Cependant, si l’on régularise le problème de transport optimal en ajoutant une entropie modulée par un paramètre de température, cette régularisation entropique nous fournit une approximation de l’application optimale si la température est basse. Dans cet exposé, j’exhiberai un taux de convergence pour les potentiels entropiques et leurs gradients vers leurs équivalents non régularisés, pour la convergence uniforme sur tout compact, sous des hypothèses de convexité.
  • 24/10/2024
    • 14h00 Anastasia Hraivoronska
      • Titre : The fully discrete JKO scheme for nonlinear diffusion and crowd motion models
      • Résumé : This talk presents a formulation of the JKO scheme restricted to atomic measures on the regular grid as a discrete-in-space approximation to the standard JKO scheme. We discuss the application of this fully discrete formulation for developing new numerical schemes for nonlinear diffusion equations with drift and the crowd motion model. The main result of this presentation is the convergence of the scheme to the corresponding PDEs as the time and space discretization vanishes.
    • 15h00 Nicola Meunier
      • TBD

Comments are closed.