Soutenance de thèse - Jonathan Courtois

Thèse présentée par Jonathan COURTOIS Laboratoire d’Electronique, Antennes et Télécommunications (LEAT) en vue de l’obtention
du grade de docteur en électronique de l'Université Côte d’Azur.

Dirigée par : Benoit MIRAMOND, Pr. Université Côte D’azur
Co-dirigée par : Alain PEGATOQUET, Pr. Université Côte D’azur

Résumé
Cette thèse étudie les Réseaux de Neurones à Impulsion (SNN) pour le traitement de données événementielles
dans des applications embarquées où les systèmes fonctionnent sous des contraintes énergétiques strictes, avec
une orientation vers les applications spatiales.

Si les Réseaux de Neurones Artificiels Formels (FNN) ont démontré des capacités remarquables dans le
traitement de données complexes, leurs besoins énergétiques élevés limitent souvent leur utilisation dans ce type de
plateformes. Le calcul neuromorphique, inspiré de l’architecture du cerveau, représente une alternative prometteuse.
Le cerveau humain traite efficacement des informations complexes à environ 20W avec une densité de calcul de
0,01W/cm², contre 50-100W/cm² pour les processeurs conventionnels. Les SNN émulent cette efficacité grâce à
une communication événementielle à base d’impulsions, traitant l’information de manière éparse et asynchrone.
Associés à des caméras événementielles qui transmettent uniquement les variations lumineuses significatives de
l’environnement, ces réseaux offrent des avantages potentiels pour les applications de traitement d’image à faible
consommation avec des capacités intéressantes pour les applications spatiales.

Cette thèse développe une méthodologie complète pour la conception et l’évaluation des SNN embarqués sur
du matériel neuromorphique. La contribution principale vise à évaluer la faisabilité de tâches complexes comme
la détection d’objets et l’estimation de pose pour applications spatiales avec des approches neuromorphiques
événementielles, un domaine de recherche inexploré à ce niveau de complexité. Face à cette nouveauté, notre
travail progresse méthodiquement à travers toutes les étapes d’implémentation des SNN.

Nous commençons par établir une métrique indépendante du matériel pour évaluer l’efficacité énergétique des
SNN par rapport aux FNN. Les résultats démontrent que les SNN peuvent atteindre une réduction énergétique
de 6 à 8 fois comparée aux FNN équivalents tout en maintenant une précision comparable, l’énergie d’accès à la
mémoire dominant la consommation totale. Cela fournit une base cruciale pour la conception de futures solutions.

Sur cette base, nous contribuons à l’extension de QUALIA, un framework OpenSource pour concevoir, entraîner,
quantifier et déployer des réseaux de neurones (FNN et SNN) sur diverses plateformes (CPU, microcontrôleur, FPGA).
QUALIA comble le fossé entre les spécifications de haut niveau et les implémentations matérielles, supportant le
développement de SNN basé sur PyTorch et intégrant SPLEAT, un accélérateur neuromorphique configurable sur
FPGA. La chaîne d’outils est complétée par QUALIABENCH, une solution d’automatisation qui démocratise l’accès
aux technologies neuromorphiques en permettant un déploiement et une évaluation systématiques des réseaux sur
cible sans connaissances approfondies en matériel.

Progressant des implémentations simples aux plus complexes, nous repoussons les limites des SNN sur du
matériel neuromorphique. La solution de détection d’objets déployée sur la plateforme SPLEAT atteint une inférence
46% plus rapide avec une amélioration triple de l’efficacité énergétique par rapport à l’exécution sur CPU seule,
démontrant la faisabilité de l’implémentation d’architectures SNN complexes sur des plateformes reconfigurables.
Nous explorons également la faisabilité de deux méthodes pour l’estimation de pose pour satellites : l’estimation
de pose 6D monoculaire événementielle directe et la prédiction de points-clés pour l’estimation indirecte avec une
architecture type Unet.

Ces applications avancées démontrent que la combinaison des SNN et des capteurs événementiels constitue
une approche viable pour un traitement économe en énergie dans des environnements spatiaux contraints, avec des
applications potentielles en navigation autonome, détection d’objets et surveillance de l’environnement.

Mots-clés : réseaux de neurones à impulsion, caméra événementielle, systèmes embarqués, bio-inspiration,
traitement de données événementielles, déploiement matériel, consommation énergétique, informatique neuromorphique