Air Canada obligée de rembourser un client après une hallucination de l'IA de son service client
En février 2024, une cour canadienne a obligé Air Canada à partiellement rembourser le billet d'avion acheté par l'un de ses clients. Le client avait demandé au bot du support client les conditions dans lesquelles Air Canada rembourse les billets d'avion achetés en urgence lorsqu'un proche décède. Or, le bot a répondu en hallucinant une politique de remboursement qui n'existe pas.
Air Canada a proposé un bon d'achat de 200 dollars canadiens à son client, qui l'a refusé et a porté l'affaire devant un tribunal. Air Canada a combattu la plainte, en argumentant que le client aurait dû se référer aux pages expliquant la politique de remboursement plutôt qu'aux propos du bot. Le juge n'a manifestement pas été réceptif à l'argument, considérant que les propos du bot ont la même valeur juridique que les pages rédigées par des humains.
Suite à ce jugement, Air Canada a semble-t-il rapidement arrêté son bot, dont la mise en place a pourtant été coûteuse. Le bot avait pour objectifs de diminuer les coûts du service client et d'améliorer la qualité du service rendu.
Ashley Belanger
De mon point de vue, ce qui est intéressant dans cette anecdote est la confiance déraisonnable qu'Air Canada a accordé à son bot. Il est documenté, y compris dans la littérature scientifique, que les IA basées sur des large language models comme ChatGPT sont susceptibles d'hallucinations. Elles ont tendance à inventer des informations qui n'existent pas. Or, Air Canada a semble-t-il fait comme si cette limite, pourtant documentée, n'existait pas, ou était suffisamment mineure pour ne pas poser de problème.
Sur Threads, Gergely Orosz évoque une anecdote similaire dans ces deux posts.
I enjoy hearing companies use GenAI / LLMs as experiments (that can fail!) to improve developer productivity.
Lately, I'm hearing more stories of even large companies where leadership is treating it as a (desperate) solution that must succeed in increasing productivity.
Like there's ~$10B company, losing money big time, where they are pushing devs to dump what they know into the wiki; and hope their internal LLM can scoop it up and e.g. launch new features in new regions, autonomously, and without the need to have a dev involved.
Ugh.
En français :
J'aime bien entendre les entreprises utiliser les IA génératives / les LLM comme des expérimentations (qui peuvent échouer !) pour améliorer la productivité des développeurs.
Dernièrement, j'entends de plus en plus d'histoires de grandes entreprises dont les dirigeants traitent les IA génératives comme une solution (désespérée) qui doit réussir à tout prix à améliorer la productivité.
Par exemple, il y a une entreprise de 10 milliards de dollars qui perd beaucoup d'argent et qui pousse les développeurs à déverser tout ce qu'ils savent dans le wiki, en espérant que leur LLM interne puisse récupérer ces informations et, par exemple, lancer de nouvelles fonctionnalités dans de nouvelles régions [du monde], de manière autonome et sans avoir besoin d'impliquer un développeur.
Ugh.
Quiconque ayant déjà demandé à une IA générative de générer du code informatique sait que le code généré doit être revu méticuleusement. Souvent, c'est du code qui ressemble à du code qui tourne, mais qui ne tourne pas. Ou c'est du code qui tourne, mais qui ne fait pas ce qu'il est censé faire.
Comme pour Air Canada et son bot de service client, croire qu'une technologie aussi sujette à halluciner puisse servir à développer de nouvelles fonctionnalités sans intervention humaine relève de la pensée désidérative. Les IA génératives seront peut-être capables d'écrire du code fiable à 100 %, ou de ne pas halluciner des politiques de remboursement qui n'existent pas. Mais dans sa forme actuelle, la technologie n'en est pas capable.
Comme je l'écrivais l'été dernier, les IA génératives méritent mieux que des paniques morales.
Olivier Simard-Casanova
Mais elles ne méritent pas non plus d'être traitées comme des solutions miracles, en oubliant leurs limites pourtant largement documentées. Le risque est alors de commettre des erreurs parfois coûteuses, pourtant faciles à éviter. Je présume qu'Air Canada ne sera pas la seule organisation à prendre ce genre de décision.
