Angelo Rodio, doctorant de l’équipe NEO, sous la direction de Giovanni Neglia et Alain Jean-Marie, a soutenu sa thèse le mercredi 3 juillet 2024. Félicitations Angelo!
Titre de la thèse: Hétérogénéité des Clients dans les Systèmes d’Apprentissage Fédérés.
Résumé :
L’apprentissage fédéré (FL pour « Federated Learning ») est un cadre collaboratif où des clients, tels que des smartphones, entraînent des modèles de Machine Learning sans partager leurs données locales. Cette thèse examine le cas de clients hétérogènes dans les systèmes FL et l’impact de cette hétérogénéité sur l’entraînement des modèles. L’hétérogénéité peut concerner des variations au niveau des données locales, des capacités des appareils ou encore les conditions du réseau. Nous proposons et implémentons des algorithmes concrets pour améliorer les performances et optimiser l’utilisation des ressources.
Notre première contribution traite de la corrélation au niveau de la participation des clients, corrélation à la fois temporelle et géographique. Nous analysons les performances des algorithmes de FL sous l’hypothèse de participation Markovienne. Nous introduisons alors CaFed (pour « Correlation-Aware FL »), le premier algorithme de FL qui prenne en compte ces corrélations, pour accélérer la convergence dans ces environnements.
La deuxième contribution aborde la variabilité du processus d’apprentissage causée par la participation hétérogène des clients. Les méthodes actuelles de réduction de variance échouent à agréger les mises à jour des clients avec des niveaux différents de staleness, c’est-à-dire de retard par rapport à la dernière version du modèle. Nous proposons FedStale, un algorithme de FL prenant en compte la staleness, qui agrège efficacement les mises à jour récentes et obsolètes (stale). FedStale améliore les performances dans de nombreux environnements hétérogènes.
Notre troisième contribution s’attaque à l’impact de l’hétérogénéité des ressources réseau, où des canaux de communication variés dégradent les performances d’entraînement. LossyFL (pour « Loss-Aware FL »), notre algorithme de FL prenant en compte les pertes de paquets, est à la fois plus rapide et économique que les retransmissions ou la correction d’erreurs. Il atteint des performances proches des conditions idéales (sans perte) en seulement quelques tours de communication supplémentaires.
Enfin, notre dernière contribution traite de la hétérogénéité matérielle des clients, allant des dispositifs terminaux aux edge servers et aux infrastructures cloud, et du défi de déployer des modèles hétérogènes sur ces dispositifs. Notre FedCIS (« Inference-Aware FL pour Cooperative Inference Systems») permet aux appareils puissants d’aider les moins performants pendant l’entraînement, optimisant ainsi les performances des modèles en cas de hétérogénéité des matériels.
La thèse se conclut par une réflexion sur les défis ouverts et propose des pistes pour des recherches futures.
