Les Réseaux de Neurones  © Rachid Ladjaj

 

CHAPITRE 1:

Introduction

 

Pourquoi les réseaux de neurones?

     Capter une image, la numériser, la segmenter en éléments de contours, détecter un objet mobile, le reconnaître quelle que soit sa position et estimer sa profondeur. Capter le son d'une voix au milieu d'un brouhaha et du bruit ambiant et reconnaître les mots qui sont prononcés. Capter et analyser les deux cents signaux issus d'un processus industriel et en déduire si tout est conforme ou si une avarie se prépare : voici quelques problèmes pourtant courants dans les sciences de l'informatique mais dont les solutions, encore incomplètes, impliquent de multiples efforts de recherche dans la communauté scientifique.

     Malgré la constante augmentation de puissance des calculateurs, malgré les approches théoriques de plus en plus sophistiquées, un certain nombre de tâches résistent encore aux algorithmes et aux méthodes classiques de traitement des signaux et des données. Ces tâches relèvent typiquement du traitement, en temps réel, de très grands flots de données souvent multidimensionnelles et arrivant à des cadences élevées. Le grand nombre des données, leur variabilité, le fait qu'elles ne répondent pas à des modèles physiques connus nous laissent souvent démunis devant des tâches de caractérisation, de reconnaissance et de prise de décision.

     Il y a des centaines d'exemples nous montrant à la fois combien on peut espérer de la modélisation du système nerveux mais aussi combien il sera difficile d'imaginer et de comprendre les divers aspects des problèmes de perception. Il paraît donc naturel d'essayer de comprendre comment les systèmes biologiques sont capables de telles performances, et si possible, de s'inspirer de leurs principes pour imaginer de nouveaux algorithmes ou de nouvelles machines plus efficaces que ceux dont nous disposons actuellement. Les techniques de réseaux de neurones relèvent d'une telle approche : comprendre les principes selon lesquels les systèmes biologiques traitent l'information et s'en inspirer pour élaborer de nouvelles techniques en sciences de l'ingénieur. C'est donc une double démarche, à la fois cognitive et synthétique où le monde biologique doit être considéré comme une source de référence et de connaissance.

     D'un point de vue technique, il est clair que seuls les principes seront importants. Il ne sera généralement pas nécessaire, pour modéliser telle ou telle fonction, de simuler toutes les molécules chimiques et les enzymes qu'elle implique, l'adéquation fine aux modèles biologiques ne sera retenue que dans la mesure où elle conduit à des réalisations techniquement économiques.

     Les caractéristiques essentielles des réseaux de neurones réels que nous conserverons dans les modèles mathématiques étudiés, concernent le grand nombre de connexions, la non-linéarité des relations entrée-sortie et la faculté de "plasticité" ou d'adaptabilité. Ces caractéristiques, même simplifiées, leur confèrent déjà de multiples possibilités en traitement des signaux et des informations ainsi que la faculté d'apprendre à classer, à reconnaître des formes ou à réaliser des tâches complexes.


Historique

     Les premiers à proposer un modèle sont deux bio-physiciens de Chicago, McCulloch et Pitts, qui inventent en 1943 le premier neurone formel qui portera leurs noms (neurone de McCulloch-Pitts).

     Quelques années plus tard, en 1949, Hebb propose une formulation du mécanisme d'apprentissage, sous la forme d'une règle de modification des connexions synaptiques (règle de Hebb). Cette règle, basée sur des données biologiques, modélise le fait que si des neurones, de part et d'autre d'une synapse, sont activés de façon synchrone et répétée, la force de la connexion synaptique va aller croissant.

     Le premier réseau de neurones artificiels apparait en 1958, grâce aux travaux de Rosenblatt qui conçoit le fameux Perceptron. Le Perceptron est inspiré du système visuel (en terme d'architeture neuro-biologique) et possède une couche de neurones d'entrée ("perceptive") ainsi qu'une couche de neurones de sortie ("décisionelle"). Ce réseau parvient à apprendre à identifier des formes simples et à calculer certaines fonctions logiques. Il constitue donc le premier système artificiel présentant une faculté jusque là réservée aux êtres vivants : la capacité d'apprendre par l'expérience.

     Malgré tout l'enthousiasme que soulève le travail de Rosenblatt dans le début des années 60, la fin de cette décennie sera marquée en 1969, par une critique violente du Perceptron par Minsky et Papert. Ils montrent dans un livre (« Perceptrons ») toutes les limites de ce modèle, et soulèvent particulièrement l'incapacité du Perceptron à résoudre les problèmes non linéairement séparables, tels que le célèbre problème du XOR (OU exclusif). Il s'en suivra alors, face à la déception, une période noire d'une quinzaine d'années dans le domaine des réseaux de neurones artificiels.

     Il faudra attendre le début des années 80 et le génie de Hopfield pour que l'intérêt pour ce domaine soit de nouveau présent. En effet, Hopfield démontre en 1982 tout l'intérêt d'utiliser des réseaux récurrents (dits "feed-back") pour la compréhension et la modélisation des processus mnésiques. Les réseaux récurrents constituent alors la deuxième grande classe de réseaux de neurones, avec les réseaux type perceptron (dits "feed-forward").

     En parallèle des travaux de Hopfield, Werbos conçoit son algorithme de rétropropagation de l'erreur, qui offre un mécanisme d'apprentissage pour les réseaux multi-couches de type Perceptron (appelés MLP pour Multi-layer Perceptron), fournissant ainsi un moyen simple d'entraîner les neurones des couches cachées. Cet algorithme de "back-propagation" ne sera pourtant popularisé qu'en 1986 par Rumelhart.

  Test

  Questions de révision

  Devoirs

  Lectures

[Il est important pour nous de savoir ce que vous penser de ce chapitre. Si vous avez un commentaire, une correction ou une question se rapportant à ce chapitre, envoyez le à la personne interessée dans "Contact" ou visitez le forum pour ce cours.]

Précédent: Suivant: Neurone biologique