ИИ «раздувает» оценки, но не гарантирует знаний

В дисциплинах, где легче всего задействовать ИИ, отличников становится больше, но за высокими баллами не всегда стоят реальные знания. Университеты спорят, как отделить усвоенный материал от хорошо составленного промпта, а работодатели задумываются, можно ли по-прежнему доверять оценкам при отборе выпускников.

Что происходит

После запуска ChatGPT в конце 2022 года отличных оценок («A») в американских университетах резко стало больше. Вероятнее всего, этому способствовал именно генеративный ИИ, а не то, что студенты стали лучше усваивать материал, говорится в докладе Игоря Чирикова, старшего научного сотрудника Центра исследований высшего образования Калифорнийского университета Беркли. Выводы приводит The Wall Street Journal.

Эксперт использовал массив из более чем 500 тысяч оценок, выставленных с 2018-й по 2025 год в одном из крупных публичных университетов Техаса. Для исследования курсы разбили на две категории: «ИИ-уязвимые», где нейросеть может выполнить работу за студента (например, в написании текстов и программировании), и «ИИ-устойчивые», где такого типа заданий мало.

Выяснилось, что до 2022 года разница в оценках между двумя категориями была незначительной. Но уже в конце года, когда появился ChatGPT, на «ИИ-уязвимых» курсах количество «A» резко пошло вверх. Их стало примерно на 30% больше, а оценок «A-» и «B+» — меньше. Особенно заметно эффект проявился в предметах, где чаще давали задания на дом.

Почему это важно

Долгое время средний балл успеваемости (GPA) не был важен при найме, но ситуация меняется. По данным Национальной ассоциации колледжей и работодателей, в 2023 году на GPA смотрели 37% компаний, а сейчас уже 42%. При поиске стажировки его тоже могут учитывать — например, в Barclays и Morgan Stanley.

Проблема в том, что ИИ делает GPA менее надежным индикатором реальных навыков, как это случилось с резюме и сопроводительными письмами. «Продуктивное усилие», которого требует учеба, исчезает, указывает Чириков: «Насколько бы ИИ ни помогал людям становиться продуктивнее и производить больше, я думаю, их обучению он может вредить».

Острее всего реагируют престижные университеты. Например, в Гарварде в связи с «инфляцией» оценочной системы предложили ввести квоту до 20% на высшие баллы в каждом курсе, а также новую внутреннюю систему, основанную на фактических оценках для присвоения академических наград и отличий, а не на GPA. Новые правила могут вступить в силу осенью 2027 года.