Claude Shannon
Claude Elwood Shannon (30 avril 1916 - 24 février 2001), ingénieur électrique, est l'auteur de la théorie de l'information.
Biographie
Il étudia le génie électrique et les mathématiques à l'Université du Michigan en 1932. Il utilisa notamment l'algèbre Booléenne pour sa thèse de doctorat au MIT, dans laquelle il expliqua comment construire des machines à relais en utilisant l'algèbre de Boole pour décrire l'état des relais (1 : fermé, 0 : ouvert).
En 1948, il fit publier un ouvrage A Mathematical Theory of Communications (ISBN 0252725484). Cet ouvrage est centré autour de la problématique de la transmission de l'information d'un émetteur vers un récepteur. Shannon considéra l'entropie de l'information contenue dans le message transmis comme une mesure de la redondance.
Il travailla 20 ans au MIT, de 1958 à 1978. En parallèle avec ses activités académiques, Shannon travailla aux laboratoires Bell de 1941 à 1972.
Claude Shannon était connu non seulement pour ses travaux de pionnier dans la télécommunication, mais aussi pour l'etendue et l'excentricité de ses hobbies : la jonglerie (il publia plusieurs article sur la théorie de la jonglerie), le monocycle et l'invention de machines farfelues qui étaient selon lui plus « amusantes qu'utiles ». Parmi ces inventions, on trouve une souris mécanique sachant trouver son chemin dans un labyrinthe, un robot jongleur, un joueur d'échecs...
Souffrant de la maladie d'Alzheimer dans les dernières années de sa vie, Claude shannon est mort à 84 ans le 24 Février 2001.
Entropie au sens de Shannon
Un apport essentiel des travaux de Shannon concerne la notion d'entropie. Si l'on considère N événements de probabilité p1, p2... pN, indépendantes les unes des autres, alors leur entropie de Shannon est définie comme :
Entropie = 
Il a par ailleurs :
- établi un rapport entre diminution d'entropie et gain d'information.
- montré l'équivalence de cette notion avec l'entropie de Ludwig Boltzmann en thermodynamique.
La découverte du concept ouvrait ainsi la voie aux méthodes dites d'entropie maximale (voir probabilité), donc au scanner médical, à la reconnaissance automatique des caractères et à l'apprentissage par les machines.