Les ordinateurs étaient considérés comme des machines de travail efficaces mais stupides, maintenant nous devons peut-être changer d'avis

Les systèmes d'apprentissage prédictif ne sont pas nés récemment, en effet, ils sont à l'étude depuis des décennies et appliqués dans de nombreuses formes d'appareils électroniques.

Mais le système éducatif ChatGPT et la quantité de données disponibles qu'il peut utiliser et interagir les unes avec les autres le conduisent à approcher le cerveau humain à travers certaines similitudes d'apprentissage des informations et de la manière dont elles sont utilisées pour effectuer certaines tâches.

Certes que ChatGPT n'a pas d'âme, de caractère, ne rêve pas, ne l'amour, mais il simule le comportement humain en fonction de ce qu'il a appris à travers le réseau, pour le meilleur ou pour le pire.

Qu'est-ce que ChatGPT et comment aborde-t-il le cerveau humain?

Comme Corrie Picul nous le dit, ChatGPT est une nouvelle technologie développée par OpenAI si extraordinairement apte à imiter l'humain communication qui va bientôt conquérir le monde et tous les métiers qui s'y trouvent. Ou du moins c'est ce que les gros titres amèneraient le monde à croire.

Dans une conversation organisée par le Carney Institute for Brain Science de l'Université Brown, deux universitaires Brown de différents domaines d'études ont discuté des parallèles entre intelligence artificielle et intelligence humaine.

La discussion sur les neurosciences de ChatGPT a donné aux participants un aperçu des coulisses du modèle d'apprentissage automatique actuel.

Ellie Pavlick est professeure adjointe d'informatique et chercheuse à Google AI. Elle étudie le fonctionnement du langage et comment faire en sorte que les ordinateurs comprennent langage comme le font les humains.

Thomas Serre est un professeur de sciences cognitives, de linguistique, de psychologie et d'informatique qui étudie les calculs neuronaux soutenant la perception visuelle, en se concentrant sur l'intersection de la vision biologique et de la vision par ordinateur.

Se joindre à eux en tant que modérateurs étaient la directrice de l'Institut Carney et le directeur associé Diane Lipscombe et Christopher Moore respectivement.

Pavlick et Serre ont offert des explications complémentaires comment ChatGPT fonctionne par rapport au cerveau humain et ce qui révèle ce que la technologie peut et ne peut pas faire. Malgré toutes les discussions sur les nouvelles technologies, le modèle n'est pas si compliqué et ce n'est même pas nouveau, a déclaré Pavlick.

À son niveau le plus élémentaire, a-t-il expliqué, ChatGPT est un modèle d'apprentissage automatique conçu pour prédire le mot suivant dans une phrase, le mot suivant, etc.

Ce type de modèle d'apprentissage prédictif existe depuis des décennies, a déclaré Pavlick, spécialisé dans le traitement du langage naturel.

Les informaticiens cherchent depuis longtemps à construire des modèles qui présentent ce comportement et peuvent parler aux humains en langage naturel. Pour ce faire, un modèle a besoin d'accéder à une base de données de composants informatiques traditionnels qui lui permettent de "raisonner" des idées trop complexes.

La nouveauté est de savoir comment ChatGPT est formé ou développé. Il a accès à des quantités insondables de données, comme l'a dit Pavlick, "tous les jugements sur Internet".

"ChatGPT, en soi, ne change pas la donne", a déclaré Pavlick. "Le point de basculement a été qu'au cours des cinq dernières années, il y a eu cette augmentation dans la construction de modèles qui sont fondamentalement les mêmes, mais ils sont devenus plus gros. Et ce qui se passe, c'est qu'à mesure qu'ils deviennent de plus en plus gros, ils fonctionnent mieux."

Pour interagir avec un système comme ChatGPT il y a encore un an, a déclaré Pavlick, une personne aurait besoin d'accéder à un système comme Brown's Compute Grid, un outil spécialisé disponible pour les étudiants, les professeurs et le personnel uniquement avec certaines autorisations, et nécessiterait également une bonne expérience de la technologie.

Mais maintenant, n'importe qui, avec n'importe quelle capacité technologique, peut jouer avec l'interface élégante et rationalisée de ChatGPT.

ChatGPT pense-t-il vraiment comme un humain?

Pavlick a déclaré que le résultat de la formation d'un système informatique avec un ensemble de données aussi volumineux, donne l'impression de pouvoir générer des articles , histoires, poèmes, dialogues, pièces de théâtre et plus d'une manière très réaliste. Il peut générer de faux reportages, de fausses percées scientifiques et produire toutes sortes de résultats étonnamment efficaces.

L'efficacité de leurs résultats a conduit de nombreuses personnes à croire que les modèles d'apprentissage automatique ont la capacité de penser comme les humains. Mais le font-ils ?

ChatGPT est un type de réseau de neurones artificiels, a expliqué Serre, dont la formation est en neurosciences, en informatique et en ingénierie. Cela signifie que le matériel et la programmation sont basés sur un groupe interconnecté de nœuds inspirés par une simplification des neurones dans un cerveau.

Serre a déclaré qu'il existe en effet un certain nombre de similitudes fascinantes dans la façon dont le cerveau informatique et le cerveau humain apprennent de nouvelles informationsi et utilisent eux pour effectuer des tâches.

"Des travaux commencent à suggérer que, au moins superficiellement, il peut y avoir des liens entre les types de représentations de mots et de phrases que des algorithmes comme ChatGPT utilisent et exploitent pour traiter l'information linguistique, par rapport à ce que le cerveau semble faire », a déclaré Serre.

Par exemple, a-t-il dit, l'épine dorsale de ChatGPT est un type de réseau de neurones artificiels de pointe appelé réseau de transformation.

Ces réseaux, nés de l'étude du traitement du langage naturel, dominent depuis peu tout le domaine de l'intelligence artificielle. Les réseaux de transformation ont un mécanisme particulier que les informaticiens appellent "l'auto-attention", qui est lié aux mécanismes attentionnels connus pour avoir lieu dans le cerveau humain.

Une autre similitude avec le cerveau humain est un aspect clé de ce qui a permis à la technologie de devenir si avancée, a déclaré Serre.

Dans le passé, a-t-il expliqué, former les réseaux de neurones artificiels d'un ordinateur, pour apprendre et utiliser le langage ou effectuer la reconnaissance d'image, nécessaire aux scientifiques d'effectuer des tâches manuelles fastidieuses et chronophages, telles que la création de bases de données et l'étiquetage de catégories d'objets.

Les grands modèles de langage modernes, tels que ceux utilisés dans ChatGPT, sont entraînés sans avoir besoin de cette surveillance humaine explicite. Et cela semble être lié à ce que Serre a appelé une théorie influente du cerveau connue sous le nom de théorie du codage prédictif.

Il s'agit de l'hypothèse selon laquelle lorsqu'un humain entend quelqu'un parler, le cerveau fait constamment des prédictions et développe des attentes sur ce qui sera dit ensuite.

Bien que la théorie ait été postulée il y a des décennies, Serre a déclaré qu'elle n'avait pas été entièrement testée en neurosciences. Cependant, il mène actuellement de nombreux travaux expérimentaux.

"Je dirais que le niveau des mécanismes d'attention au moteur central de ces réseaux qui font constamment des prédictions sur ce qui va être dit, ce qui semble être, à un niveau très grossier, cohérent avec les idées liées aux neurosciences », a déclaré Serre lors de l'événement.

Il peut également y avoir des dangers, en effet, de la même manière que le processus d'apprentissage humain est susceptible d'être biaisé ou corrompu, il en va de même Modèles d'IA. Ces systèmes apprennent par association statistique, a déclaré Serre. Tout ce qui est dominant dans l'ensemble de données prendra le dessus et fera sortir d'autres informations.

"C'est un domaine de grande préoccupation pour l'intelligence artificielle", a déclaré Serre. Il a cité à l'appui de cette affirmation, comment la représentation des hommes de race blanche sur Internet a biaisé certains systèmes de reconnaissance faciale au point qu'ils n'ont pas réussi à reconnaître les visages qui ne semblent pas être blancs ou masculins.

La dernière itération de ChatCPT, a déclaré Pavlick, comprend des couches d'apprentissage par renforcement qui agissent comme un diviseur et aident à prévenir la production de contenu nuisible ou haineux. Mais ce sont encore des travaux en cours.

"Une partie du défi est que… vous ne pouvez pas donner de règle au modèle, vous ne pouvez pas simplement dire "ne jamais générer ceci et cela", ", a-t-il dit Pavlick. "Il apprend par l'exemple, puis vous lui donnez beaucoup d'exemples de choses et vous lui dites : 'Ne fais pas ce genre de choses. Faites des choses comme ça. Et donc il sera toujours possible de trouver une petite astuce pour lui faire faire le mal.

Traduction automatique. Nous nous excusons pour toute inexactitude. Article original en italien.

Source : Université Brown