Projet Pref-AIdvisor

Experimental Elicitation of LLM preferences in AI-human advice

A propos du projet

Les modèles de langage basés sur l’intelligence artificielle (LLM) suscitent un intérêt considérable auprès du grand public, et leur démocratisation incite un nombre croissant d’utilisateurs à les utiliser comme outils de conseil dans des domaines pour lesquels ces modèles n’ont pas été spécifiquement conçus (par exemple, l’utilisation de ChatGPT pour obtenir des conseils en matière de choix d’investissement financier, de santé ou d’éducation). L’objectif du projet est, d'une part, d'identifier les « préférences » et « croyances » sous-jacentes des LLM les plus populaires afin de caractériser les types de conseils qu'ils sont susceptibles de fournir, et, d'autre part, de tester dans quelle mesure ces modèles sont sensibles aux effets de cadrage en fonction des éléments contextuels présentés dans les prompts. La méthodologie consiste à répliquer des protocoles classiques d’économie expérimentale et à les soumettre aux LLM afin d’identifier leurs préférences, leurs croyances et leurs éventuels biais.