Projet NeSS

Segmentation Sémantique Neuromorphique

A propos du projet

La segmentation d'image est une tâche populaire dans le domaine de la vision par ordinateur, dans laquelle des régions spécifiques d'une image doivent être étiquetées en fonction de leur contenu sémantique. L'objectif du projet NeSS est de concevoir un système de segmentation sémantique de scènes en temps réel, à faible consommation d'énergie et bio-inspiré, en utilisant une approche neuromorphique.

Plus précisément, le projet combine un nouveau type de capteur visuel, les caméras événementielles (ou rétines de silicium), avec un paradigme d'apprentissage machine inspiré du cerveau : les réseaux de neurones à spikes (ou réseaux neuronaux impulsionnels). Ces deux modèles neuromorphiques complémentaires sont tous deux basés sur des événements binaires discrets, épars et asynchrones, permettant des implémentations à faible latence et faible consommation d'énergie, les rendant ainsi adaptés aux applications embarquées en temps réel, comme les véhicules autonomes ou les robots.

Ce projet interdisciplinaire, impliquant des chercheurs en vision par ordinateur, neurosciences computationnelles, matériel et circuits, vise des systèmes frugaux pour relever certains défis importants dans le domaine de la vision par ordinateur embarquée.

Chercheur principal
Partenaires projet
  • Dalia Hareb, i3S
  • Benoît Miramond, LEAT
  • Amélie Gruel, IMS Bordeaux
  • Laurent Perrinet, INT Marseille
  • Teresa Serrano Gotarredona, IMSE Espagne
Durée
  • Novembre 2022 – Mars 2025
Montant total
  • 30 000 euros
Présentation du projet
Publications
  • Dalia Hareb, Jean Martinet, Benoît Miramond. Enhanced neuromorphic semantic segmentation latency through stream event. International Conference on Neural Information Processing (ICONIP). Poster. Auckland, New Zealand, December 2024
  • Huyen Trang Nguyen, Laurent Sparrow, Jean Martinet. Top-down and bottom-up attentions in event data: a survey. International Conference on Neural Information Processing (ICONIP). Poster. Auckland, New Zealand, December 2024
  • Dalia Hareb, Jean Martinet. EvSegSNN: Neuromorphic Semantic Segmentation for Event Data. IJCNN 2024, Yokohama, Japan. July 2024
  • Amélie Gruel, Dalia Hareb, Antoine Grimaldi, Jean Martinet, Laurent Perrinet, Bernabé Linares-Barranco and Teresa Serrano-Gotarredona. Stakes of Neuromorphic Foveation: a promising future for embedded event cameras. Biological Cybernetics Special Issue: What can Computer Vision learn from Visual Neuroscience? 2023
  • Dalia Hareb, Jean Martinet. EvSegSNN : Segmentation sémantique neuromorphique pour la vision événementielle. ORASIS 2023, Carqueiranne, France. May 2023


Publication additionnelle juste avant le démarrage du projet :

Amélie Gruel, Dalia Hareb, Jean Martinet, Bernabé Linares-Barranco, Teresa Serrano-Gotarredona. Neuromorphic foveation applied to semantic segmentation. CVPR 2022 workshop "NeuroVision: What can computer vision learn from visual neuroscience?", New Orleans, Louisiana, June 2022
Projets financés par effet de levier