Un récent Hackathon, organisé par /dev/color, a réuni des organisations sélectionnées pour explorer le Science Tutor for Effective Problem Solving (STEPS) du Stanford Ideal Learning Lab, un agent pédagogique piloté par l’IA conçu pour aider les étudiants de premier cycle en STEM à renforcer leurs processus de résolution de problèmes.
Nous avons représenté l’Institut de recherche ETS pour examiner comment la science de la mesure peut être intégrée dans les environnements de tutorat en IA. Parce que STEPS fonctionne déjà comme une plateforme d’évaluation formative, le hackathon nous a offert une opportunité opportune d’examiner comment les preuves de l’apprentissage des élèves peuvent être utilisées en temps réel pour personnaliser le tutorat par IA.
Faire le pont entre la science de la mesure et l’incitation LLM
Notre principal livrable était une cartographie architecturale complète d’un pipeline de modèle d’apprenant fermé de bout en bout pouvant être intégré dans la plateforme STEPS. Nous avons développé cette architecture grâce à la collaboration entre notre équipe ETS et /dev/color. Dans notre conception proposée, nous exploitons plusieurs sources de preuves, y compris des mesures issues de l’utilisation de STEPS par les élèves, les résultats d’évaluations diagnostiques et les auto-évaluations, afin d’éclairer l’apprentissage personnalisé. Ces flux de données sont ensuite synthétisés en profils d’apprenants qui peuvent guider l’expérience de tutorat. Plus précisément, nous avons traduit des mesures quantitatives, telles que les scores ou les schémas d’interactions élève-chatbot, en instructions pédagogiques pour le tuteur IA. Ces mesures déterminent combien de soutien apporter et quand inciter à la réflexion. Ces instructions pédagogiques sont intégrées dans les consignes utilisées par le système de tutorat par IA générative dans STEPS, permettant au tuteur d’adapter son soutien en fonction des preuves concernant les besoins de chaque apprenant afin de créer une expérience d’apprentissage plus personnalisée. Notre collaboration avec /dev/color a permis de garantir que l’approche était fondée sur la recherche et pratique à mettre en œuvre.
Points stratégiques à retenir pour l’ETS
Sur la base des retours positifs reçus de la directrice de l’Ideal Learning Lab de Stanford, le Dr Shima Salehi, et d’autres participants au hackathon, nous avons identifié plusieurs opportunités pour l’ETS :
- La mesure en tant que facilitateur de l’IA adaptative : À mesure que les systèmes de tutorat en IA mûrissent, leurs créateurs recherchent activement des méthodes systématiques et fondées sur des preuves pour modéliser les progrès d’apprentissage des élèves, leurs traits non cognitifs et leurs compétences durables. ETS est particulièrement bien placé pour combler ce manque.
- La valeur de nos outils : L’intégration de la recherche et des capacités de mesure ETS dans les systèmes de tutorat en IA démontre une voie claire pour notre recherche afin de propulser les technologies d’apprentissage de nouvelle génération.
- Un modèle pour les partenariats futurs : Le hackathon offre un plan conceptuel solide pour la manière dont l’ETS peut collaborer avec des laboratoires de recherche académiques de premier plan afin de fournir l’infrastructure de mesure sous-jacente à leurs plateformes éducatives.
En combinant notre expertise chez ETS avec les technologies émergentes de l’IA, nous pouvons évoluer vers un système de soutien plus réactif et compréhensif pour chaque apprenant.