Conception et évaluation d’un agent conversationnel enrichi par la génération augmentée par récupération : effet sur l’acquisition des connaissances des personnes apprenantes, l’utilisabilité perçue et l’expérience d’interaction

Résumé

L’intelligence artificielle (IA) a considérablement évolué ces dernières années, notamment avec l’apparition des grands modèles de langage (LLM), tels que les modèles de la famille des transformeurs génératifs préentraînés (generative pre-trained transformer [GPT]). Ces modèles, capables de générer du texte fluide et contextuel, montrent un potentiel prometteur pour transformer divers secteurs, y compris l’éducation. Cependant, leur application en contexte éducatif présente certaines limites, notamment les « hallucinations », ou génération d’informations incorrectes, qui peuvent nuire à l’expérience d’apprentissage des personnes apprenantes. Pour atténuer ces limitations, la génération augmentée par récupération (RAG) a été intégrée aux modèles de langage. Cette approche associe les capacités des LLM à une récupération d’informations issues d’une base de connaissances préconstruite, alimentée par des documents appropriés, afin d’améliorer la précision, la pertinence et la fiabilité des réponses générées. Toutefois, l’application des modèles de langage enrichis par la RAG dans des contextes éducatifs, notamment les MOOC, demeure peu étudiée, en particulier quant à leur influence sur l’acquisition des connaissances et l’expérience d’interaction des personnes apprenantes. Nous avons conçu et développé un agent conversationnel, alimenté par GPT-4 et enrichi par la RAG, offrant un soutien en temps réel et contextuellement pertinent aux personnes apprenantes dans le cadre d’un MOOC. Cet agent est capable d’accompagner les personnes apprenantes dans la clarification de concepts complexes tout en les guidant tout au long de leur parcours d’apprentissage. Notre agent conversationnel a été évalué auprès de 25 personnes apprenantes inscrites à un MOOC. L’analyse des résultats a révélé une amélioration significative de l’acquisition des connaissances dans le groupe expérimental par rapport au groupe contrôle. De plus, l’agent conversationnel a obtenu un score élevé sur l’échelle d’utilisabilité du système (SUS), indiquant une perception positive de son utilisabilité. Les entretiens semi-structurés ont mis en évidence une expérience d’interaction globalement favorable avec l’agent. Ces résultats soulignent le potentiel des agents conversationnels dotés d’IA générative et enrichis par la RAG pour améliorer l’apprentissage dans les environnements d’apprentissage en ligne, y compris les MOOC. Ils ouvrent également la voie à des recherches futures sur leur rôle en tant que compagnons d’apprentissage.