Метод ітеративної мультиагентної верифікації оцінок у віртуальних навчальних середовищах на основі пояснюваного штучного інтелекту

Анотація

У статті розроблено метод ітеративної мультиагентної верифікації оцінок, що забезпечує прозорість та надійність автоматизованого оцінювання відкритих відповідей у віртуальних навчальних середовищах (ВНС). Обґрунтовано актуальність проблеми непрозорості рішень великих мовних моделей (ВММ) та їх схильності до генерації фактологічно некоректних тверджень у задачах освітнього оцінювання. Запропоновано формальну модель підсистеми оцінювання ВНС як мультиагентної системи, що включає три спеціалізовані агенти: агент-оцінювач, агент-верифікатор та агент-пояснювач. Для кожного агента визначено функції відображення вхідних даних у проміжні або кінцеві результати. Розроблено алгоритм MultiAgentGrading, який реалізує чотирифазну процедуру оцінювання: первинна генерація з використанням стратегії ланцюжка думок (ante-hoc компонент), критичний аналіз верифікатором (post-hoc компонент), ітеративна корекція та педагогічна агрегація результату. Метод поєднує вбудовані та постфактум-механізми пояснюваності в єдиному циклі взаємодії агентів, що дозволяє мінімізувати ризик галюцинацій та підвищити відтворюваність оцінювання. Визначено умови збіжності ітеративного процесу та запобіжний механізм проти зацикленню. Обґрунтовано перехід від лінійної парадигми пояснень до концепції каліброваної довіри, за якої рівень впевненості користувача узгоджується з реальними можливостями моделі.