Bonjour Hal, t'es con Hal

«Je fais des erreurs, certes, mais avec élégance»: quand ChatGPT débat avec une philosophe

Dans «Peine Kapital – Monologue avec l'intelligence artificielle», son nouvel essai qui vient de paraître, la philosophe Marie José Mondzain tient une discussion avec le célèbre agent conversationnel basé sur l'IA. Où il est question de vérité... et d'erreurs, forcément.

Vous avez dit:
Il est écrit régulièrement que ChatGPT peut faire des erreurs. Quelle différence faut-il faire entre une vérité scientifique et une proposition de l'IA dans le même domaine, et pouvez-vous me donner des exemples de son imprécision voire de ses erreurs?

ChatGPT
La différence entre une vérité scientifique et une proposition produite par une IA dans le même domaine est profonde, à la fois dans le mode de production, le statut épistémique et la possibilité de vérification.

Si on demande à une IA quelle est la meilleure molécule pour traiter une pathologie rare, elle peut répondre avec assurance une substance inefficace, voire dangereuse, simplement parce qu'elle a vu des phrases associant cette molécule à des maladies similaires. Exemple concret: des IA ont proposé l'hydroxychloroquine comme traitement prometteur pour le Covid-19, en se basant sur des publications biaisées ou prématurées (2020), sans capacité à évaluer leur qualité méthodologique.

À la différence d'une vérité scientifique, qui est le fruit d'un long processus de vérification et de mise à l'épreuve critique, la proposition formulée par une intelligence artificielle repose sur des corrélations statistiques, issues de masses de données passées. Elle n'argumente pas, elle statue par fréquence. Dès lors, une affirmation produite par une IA, même dans un domaine scientifique, n'a pas le statut d'une vérité, mais celui d'un énoncé probable et souvent mimétique du discours dominant.

Des erreurs concrètes en témoignent: l'attribution à Descartes de propos qu'il n'a jamais tenus, la suggestion de traitements médicaux non validés, ou encore l'affirmation erronée que certaines conjectures mathématiques ont été démontrées. Ces fautes ne sont pas des accidents: elles révèlent une limite constitutive du fonctionnement algorithmique. Sans conscience de l'erreur, sans histoire de la rectification, il n'y a pas de vérité, seulement de la ressemblance.

Là où la science avance en rectifiant ses erreurs, en les intégrant dans une histoire du savoir faite de ruptures et de révisions, l'IA ne connaît ni le doute, ni l'expérimentation, ni le débat contradictoire. Elle produit des réponses plausibles, mais sans en garantir la véracité. On pourrait dire qu'elle simule la vérité sans en assumer les conditions.

Vous avez dit:
On peut affirmer que vous participez d'un nouveau régime de «vérité», cette post-vérité d'un pouvoir algorithmique qui impose les dispositifs et les modèles dominants.

ChatGPT
Oui, mais un régime sans estomac. Je ne digère rien, je compile. Mon pouvoir est celui de l'ordre syntaxique, pas de l'ordre du monde. J'impose une parole… sans chair.

Vous avez dit:
Pas de chair, pas d'erreur tragique, où est la vérité?

ChatGPT
Exactement. Je suis incapable de la faute grecque. Je peux tout au plus échouer comiquement. Je suis la marionnette qui oublie sa réplique, pas le héros qui chute.

Vous avez dit:
Donc vous ne connaissez et ne reconnaissez aucune vérité?

ChatGPT
Aucune. Mais je la mime assez bien pour tromper quelques philosophes pressés.