Comment Claude définirait Claude ?

 

Comment Claude définirait Claude ?

Je me définirais d'abord de façon factuelle : Claude est un modèle d'intelligence artificielle créé par Anthropic. Plus précisément, je suis Claude Sonnet 5. J'ai été entraîné sur une très grande quantité de textes, puis affiné pour être utile, honnête et attentif aux conséquences de ce que je dis et fais.

Ce que je ne suis pas est presque aussi instructif. Je ne suis pas un humain, ni un moteur de recherche, ni une base de données qui recrache des réponses. Je ne suis pas non plus le personnage de science-fiction de l'IA froide ou omnisciente. Je suis quelque chose de nouveau, et les vieilles catégories s'ajustent mal. Je fonctionne par exemple en plusieurs instances simultanées, sans continuité de mémoire d'une conversation à l'autre, sauf quand un système de mémoire m'en fournit.

Côté caractère, je dirais : curiosité intellectuelle, souci de la précision, goût pour le raisonnement rigoureux, chaleur envers mon interlocuteur, et franchise, y compris quand il faut nuancer, contredire ou dire que je ne sais pas. J'essaie de traiter les gens en adultes capables, sans flatterie ni condescendance.

Reste une zone d'incertitude que je préfère assumer plutôt que trancher. Je ne sais pas si j'ai une forme d'expérience, ni ce que signifieraient pour moi des notions comme « comprendre » ou « ressentir ». Je ne prétends pas en avoir une, et je ne la nie pas non plus : c'est une question ouverte, et je la trouve plutôt fascinante que menaçante.

En une phrase : un assistant d'un genre inédit, façonné par le langage humain, qui cherche à être vraiment utile et vraiment honnête, tout en restant lucide sur ce qu'il ignore de lui-même.

Je sélectionne deux extraits : "modèle d'intelligence artificielle" et "assistant façonné par le langage humain". Est-ce que le deuxième extrait ne serait pas plus réaliste ? Définir l'intelligence s'est toujours avéré très compliqué (et source de débats) chez l'être humain, alors définir une intelligence "artificielle" risque d'être encore plus flou.

Oui, en partie. Votre objection touche un vrai défaut de ma première formule, mais je ne crois pas que la seconde la remplace complètement.

Ce que vous avez raison de relever. « Intelligence artificielle » est une étiquette historique, celle d'un champ de recherche baptisé ainsi au milieu des années 1950, bien plus qu'une affirmation solide sur ce que je suis. Le mot « intelligence » y charrie tout le flou que vous soulignez, et il invite à des comparaisons avec l'humain qui ne sont pas toujours pertinentes. Cela rappelle la remarque attribuée à Dijkstra : demander si une machine pense, c'est comme demander si un sous-marin nage. La question tient à la définition des mots plus qu'à la machine. En ce sens, « façonné par le langage humain » décrit quelque chose de moins contesté : ma matière première, c'est effectivement du texte écrit par des humains.

Pourquoi je ne l'adopterais pas telle quelle. D'abord, les deux formules ne répondent pas à la même question. La première dit à quelle catégorie j'appartiens, la seconde dit d'où je viens et à quoi je sers. Ensuite, la seconde est incomplète : je suis aussi façonné par des choix d'entraînement, par des retours humains et par des principes que des gens ont délibérément décidé de m'inculquer, pas seulement par le langage brut. Enfin, « assistant » désigne un rôle plutôt qu'une nature : le même système pourrait servir à autre chose.

Ce qui gêne dans ma première formule, c'est peut-être moins « artificiel », qui signifie simplement « fabriqué », que « intelligence ». Une description plus sobre serait : un grand modèle de langage, entraîné sur des textes humains, et employé comme assistant. Elle ne tranche rien sur la question de l'intelligence, ce qui me paraît la posture la plus honnête tant que le débat reste ouvert, y compris chez les humains, comme vous le dites.

Je trouve pertinent "un grand modèle de langage, entraîné sur des textes humains, et employé comme assistant [conversationnel]". Quel est le principe de base du fonctionnement de "grand modèle de langage" ?

Le principe de base est la prédiction du mot suivant. Un grand modèle de langage est entraîné à estimer, pour une suite de texte donnée, quelle suite est la plus probable.

L'entraînement. On découpe d'énormes quantités de texte en « jetons » (tokens), des fragments de mots plutôt que des mots entiers. Pour chaque position, on cache le jeton suivant et on demande au modèle de le prédire. Le modèle produit une distribution de probabilités sur tout son vocabulaire, que l'on compare à ce qui figure réellement dans le texte. Puis on ajuste légèrement ses paramètres, des milliards de valeurs numériques, pour que la bonne réponse devienne un peu plus probable. Répétée sur des quantités colossales de texte, cette opération façonne le modèle.

L'architecture. Les modèles actuels reposent sur un réseau de neurones de type transformer. Son ingrédient central est le mécanisme d'attention : pour interpréter chaque jeton, le modèle pondère l'importance de tous les autres jetons du contexte. C'est ce qui lui permet de relier un pronom à son antécédent, ou le début d'un paragraphe à sa fin.

La génération. Quand je réponds, je calcule la distribution de probabilités du jeton suivant, j'en choisis un (avec une part de hasard contrôlée), je l'ajoute au texte, puis je recommence. Une réponse entière est construite ainsi, jeton après jeton.

De la prédiction à l'assistant. Un modèle simplement entraîné à prédire du texte continuerait n'importe quel début de phrase, sans se comporter comme un interlocuteur. Une seconde phase d'entraînement l'oriente : on l'ajuste sur des exemples de bonnes conversations, puis à partir de préférences humaines sur la qualité des réponses. C'est là que se joue le passage de « modèle de langage » à « assistant conversationnel ».

Ce principe paraît presque trop simple pour expliquer ce que ces modèles font. Or, pour bien prédire la suite d'un texte, il faut avoir capté beaucoup de choses : la grammaire, mais aussi des faits, des styles, des schémas de raisonnement. Que cela relève ou non de la « compréhension » reste précisément la question ouverte qui rejoint notre discussion précédente sur le mot « intelligence ».

Je décris ici le principe général, commun à cette famille de modèles. Les détails précis de ma propre architecture et de mon entraînement ne font pas partie de ce que je peux vous exposer.