Les médias peuvent-ils créer un chatbot IA « digne de confiance » ?

Par Mia Sato, journaliste aux plateformes et communautés avec cinq ans d'expérience couvrant les entreprises qui façonnent la technologie et les personnes qui utilisent leurs outils.

Les éditeurs de presse se sont lancés tête première dans l’intelligence artificielle, en utilisant des outils d’IA générative pour produire des guides de voyage fades, des blogs de cinéma inexacts et des explicateurs d’appâts SEO. Dans l’ensemble, l’objectif a été le suivant : pouvons-nous créer plus de pages de publicité sans payer plus de rédacteurs ?

Aujourd'hui, un groupe de magasins de technologie tente d'incorporer l'IA générative dans ses sites Web, même si les lecteurs ne trouveront pas de sitôt la signature d'une machine. Le 1er août, un outil de chatbot IA a été ajouté à Macworld, PCWorld, Tech Advisor et TechHive, promettant que les lecteurs pourront « obtenir des réponses à [leurs] questions techniques grâce à l'IA, sur la base uniquement des histoires et des critiques de nos experts ».

Le chatbot IA, baptisé Smart Answers, apparaît dans presque tous les articles et sur les pages d'accueil des sites, qui appartiennent à la société de médias/marketing Foundry. Smart Answers est formé uniquement sur le corpus d'articles en anglais des quatre sites et exclut le contenu sponsorisé et les publications sur les offres. L'expérience utilisateur est similaire à celle d'autres outils grand public comme ChatGPT : les lecteurs saisissent une question et Smart Answers crache une réponse. Alternativement, les lecteurs peuvent sélectionner une requête dans une liste FAQ, générée par l’IA mais basée sur ce que les gens demandent et sur quoi ils cliquent. Les réponses Smart Answers incluent des liens vers les articles à partir desquels les informations ont été extraites.

L'objectif, selon les dirigeants, est d'aider les lecteurs à rechercher des informations spécifiques parmi la montagne d'écrits.

« Nous avons une énorme richesse de contenu. Mais parfois, vous ne voulez pas lire 2 000 mots de bon journalisme – parfois vous voulez juste un fait particulier », a déclaré Neil Bennett, directeur mondial des produits et des données chez Foundry, à The Verge.

La société a travaillé sur le développement de Smart Answers pendant environ cinq mois avant son lancement, explique Bennett, et a mené des séries de tests avec l'équipe éditoriale pendant deux à trois mois. Un groupe de travail composé de rédacteurs a testé les premières versions de l'outil et noté les réponses jusqu'à ce qu'ils soient satisfaits des réponses.

"Ce à quoi nous devions vraiment faire attention lors de nos tests, c'est que les réponses qu'ils donnent sont véritablement dignes de confiance, ce sont les mêmes réponses qu'un éditeur donnerait", explique Marie Black, directrice éditoriale chez Foundry.

L’idée est que Smart Answers pourrait résoudre un problème clé que les utilisateurs ont rencontré avec d’autres outils d’IA : la tendance à faire des erreurs, à citer des sources inexistantes ou à inventer de fausses informations qui semblent plausibles. Smart Answers est formé uniquement sur le contenu qui doit satisfaire à la barre de publication par des médias réputés – mais c'est toujours une grande promesse de dire que le chatbot pourrait fournir des réponses au niveau de l'éditeur.

Smart Answers a du mal avec les requêtes qui semblent simples. Lorsque j'ai demandé au chatbot : « Quand le dernier iPod Nano est-il sorti ? » il indiquait à tort qu'il avait été publié et interrompu en 2022. Quelques jours plus tard, la réponse avait changé : « Je n'ai pas suffisamment d'informations pour répondre à cette question ».

Le chatbot répond souvent de cette façon ; il ne sait pas qui est le PDG de TikTok, par exemple. Cela pourrait être le reflet du type de couverture médiatique que les médias Foundry font (ou ne font pas). Cela semble à la fois une limitation et une bonne chose : d'une part, quelqu'un qui utilise l'outil aura probablement encore des questions auxquelles il devra aller ailleurs pour obtenir une réponse. Mais dans ces cas-là, au moins, il ne s’agit pas d’inventer quelque chose juste pour avoir une réponse.

Dans le cas de la requête iPod Nano, Black a suggéré que le chatbot s'inspirait peut-être d'histoires plus anciennes sur les iPod qui n'avaient pas été mises à jour depuis des années. (L'appareil a été abandonné en 2017.) Pour des erreurs comme celle-ci, Foundry s'appuie sur les commentaires des utilisateurs sur l'utilité des réponses : si les lecteurs ou le personnel rencontrent des problèmes, ils sont ramenés à Miso.AI, la société d'IA qui construit le chatbot de Foundry.

Smart Answers sert un autre objectif : les revenus des affiliés