Wpływ używania LLM i notowania na rozumienie tekstu i pamięć: eksperyment randomizowany w szkołach średnich

Randomizowany eksperyment w szkołach średnich, przeprowadzony przez zespół Microsoft Research i Cambridge: 405 uczniów w wieku 14–15 lat czytało tekst w jednym z warunków — z pomocą LLM, robiąc notatki, robiąc notatki i korzystając z LLM, albo bez wsparcia. Potem sprawdzano rozumienie i zapamiętanie.

Notowanie — samo albo połączone z LLM — dawało istotnie lepsze rozumienie i pamięć niż sam LLM. Sam LLM wypadł najsłabiej. A jednak uczniowie zdecydowanie woleli LLM i uznawali go za bardziej pomocny niż notowanie.

To rozjazd między odczuciem a wynikiem jest sednem: narzędzie, które sprawia wrażenie pomocy, mierzalnie osłabia to, czemu miało służyć — a uczeń tego nie czuje. Dla rodziców i nauczycieli oznacza to, że nie można polegać na tym, co dziecko uważa za pomocne. Praktyczny wniosek: LLM plus własna praca działa; LLM zamiast niej — nie.