Les Réseaux de Neurones | © Rachid Ladjaj |
Pourquoi les réseaux de neurones?
Capter une image, la numériser,
la segmenter en éléments de contours, détecter
un objet mobile, le reconnaître quelle que soit sa position
et estimer sa profondeur. Capter le son d'une voix au milieu d'un
brouhaha et du bruit ambiant et reconnaître les mots qui
sont prononcés. Capter et analyser les deux cents signaux
issus d'un processus industriel et en déduire si tout est
conforme ou si une avarie se prépare : voici quelques problèmes
pourtant courants dans les sciences de l'informatique mais dont
les solutions, encore incomplètes, impliquent de multiples
efforts de recherche dans la communauté scientifique.
Malgré la constante augmentation
de puissance des calculateurs, malgré les approches théoriques
de plus en plus sophistiquées, un certain nombre de tâches
résistent encore aux algorithmes et aux méthodes
classiques de traitement des signaux et des données. Ces
tâches relèvent typiquement du traitement, en temps
réel, de très grands flots de données souvent
multidimensionnelles et arrivant à des cadences élevées.
Le grand nombre des données, leur variabilité, le
fait qu'elles ne répondent pas à des modèles
physiques connus nous laissent souvent démunis devant des
tâches de caractérisation, de reconnaissance et de
prise de décision.
Il y a des centaines d'exemples nous
montrant à la fois combien on peut espérer de la
modélisation du système nerveux mais aussi combien
il sera difficile d'imaginer et de comprendre les divers aspects
des problèmes de perception. Il paraît donc naturel
d'essayer de comprendre comment les systèmes biologiques
sont capables de telles performances, et si possible, de s'inspirer
de leurs principes pour imaginer de nouveaux algorithmes ou de
nouvelles machines plus efficaces que ceux dont nous disposons
actuellement. Les techniques de réseaux de neurones relèvent
d'une telle approche : comprendre les principes selon lesquels
les systèmes biologiques traitent l'information et s'en
inspirer pour élaborer de nouvelles techniques en sciences
de l'ingénieur. C'est donc une double démarche,
à la fois cognitive et synthétique où le
monde biologique doit être considéré comme
une source de référence et de connaissance.
D'un point de vue technique, il est clair
que seuls les principes seront importants. Il ne sera généralement
pas nécessaire, pour modéliser telle ou telle fonction,
de simuler toutes les molécules chimiques et les enzymes
qu'elle implique, l'adéquation fine aux modèles
biologiques ne sera retenue que dans la mesure où elle
conduit à des réalisations techniquement économiques.
Les caractéristiques essentielles
des réseaux de neurones réels que nous conserverons
dans les modèles mathématiques étudiés,
concernent le grand nombre de connexions, la non-linéarité
des relations entrée-sortie et la faculté de "plasticité"
ou d'adaptabilité. Ces caractéristiques, même
simplifiées, leur confèrent déjà de
multiples possibilités en traitement des signaux et des
informations ainsi que la faculté d'apprendre à
classer, à reconnaître des formes ou à réaliser
des tâches complexes.
Historique
Les premiers à proposer un modèle
sont deux bio-physiciens de Chicago, McCulloch et Pitts, qui inventent
en 1943 le premier neurone formel qui portera leurs noms (neurone
de McCulloch-Pitts).
Quelques années plus tard, en
1949, Hebb propose une formulation du mécanisme d'apprentissage,
sous la forme d'une règle de modification des connexions
synaptiques (règle de Hebb). Cette règle, basée
sur des données biologiques, modélise le fait que
si des neurones, de part et d'autre d'une synapse, sont activés
de façon synchrone et répétée, la
force de la connexion synaptique va aller croissant.
Le premier réseau de neurones
artificiels apparait en 1958, grâce aux travaux de Rosenblatt
qui conçoit le fameux Perceptron. Le Perceptron est inspiré
du système visuel (en terme d'architeture neuro-biologique)
et possède une couche de neurones d'entrée ("perceptive")
ainsi qu'une couche de neurones de sortie ("décisionelle").
Ce réseau parvient à apprendre à identifier
des formes simples et à calculer certaines fonctions logiques.
Il constitue donc le premier système artificiel présentant
une faculté jusque là réservée aux
êtres vivants : la capacité d'apprendre par l'expérience.
Malgré tout l'enthousiasme que
soulève le travail de Rosenblatt dans le début des
années 60, la fin de cette décennie sera marquée
en 1969, par une critique violente du Perceptron par Minsky et
Papert. Ils montrent dans un livre (« Perceptrons »)
toutes les limites de ce modèle, et soulèvent particulièrement
l'incapacité du Perceptron à résoudre les
problèmes non linéairement séparables, tels
que le célèbre problème du XOR (OU exclusif).
Il s'en suivra alors, face à la déception, une période
noire d'une quinzaine d'années dans le domaine des réseaux
de neurones artificiels.
Il faudra attendre le début des
années 80 et le génie de Hopfield pour que l'intérêt
pour ce domaine soit de nouveau présent. En effet, Hopfield
démontre en 1982 tout l'intérêt d'utiliser
des réseaux récurrents (dits "feed-back")
pour la compréhension et la modélisation des processus
mnésiques. Les réseaux récurrents constituent
alors la deuxième grande classe de réseaux de neurones,
avec les réseaux type perceptron (dits "feed-forward").
En parallèle des travaux de Hopfield,
Werbos conçoit son algorithme de rétropropagation
de l'erreur, qui offre un mécanisme d'apprentissage pour
les réseaux multi-couches de type Perceptron (appelés
MLP pour Multi-layer Perceptron), fournissant ainsi un moyen simple
d'entraîner les neurones des couches cachées. Cet
algorithme de "back-propagation" ne sera pourtant popularisé
qu'en 1986 par Rumelhart.
[Il est important pour nous de savoir ce que vous penser de ce chapitre. Si vous avez un commentaire, une correction ou une question se rapportant à ce chapitre, envoyez le à la personne interessée dans "Contact" ou visitez le forum pour ce cours.]
Précédent: | Suivant: Neurone biologique |