Pennsylvania ülikooli teadlased leidsid, et Türgi gümnaasiumiõpilased, kellel oli õppimiseks ligipääs ChatGPT-le, sooritasid matemaatika kontrolltöö madalamatele tulemustele kui need, kellel ligipääsu polnud. ChatGPT-d kasutanud õpilased lahendasid harjutusülesanded 48% suurema täpsusega, kuid nende tulemused olid päris kontrolltööl lõpuks 17% halvemad.
Kolmas grupp õpilasi sai ligipääsu uuendatud versioonile ChatGPT-st, mis toimis nagu tuutor. See vestlusrobot oli programmeeritud pakkuma vihjeid selle asemel, et lihtsalt vastus ette näidata. Õpilased, kes seda kasutasid, sooritasid harjutusülesannetes märkimisväärselt head tulemused, lahendades 127% rohkemad ülesanded korrektselt võrreldes nendega, kes tehnilist abi ei kasutanud. Kuid päris testil ei läinud neil paremini kui teistel.
Õpilased, kes lahendasid harjutusülesandeid ise, said päris kontrolltööl sarnased tulemused.
Teadlased arvavad, et tulemusi põhjendab asjaolu, et tehisaru abi kasutanud õpilased küsisid vestlusrobotilt pigem vastuseid kui lahenduskäiku. Nad ei arendanud enda oskusi ülesannete lahendamisel.
Teise selgitusena pakuti välja ChatGPT vigu. Vestlusrobot vastas küsimustele õigesti vaid pooltel kordadest. Aritmeetiliste tehete puhul oli veaprotsent 8, kuid suurem probleem oli lahenduskäik, mille küsimusel eksis robot 42% kordadest. Tuutorina toimiva ChatGPT versioonile söödeti enne õiged lahendused, seega olid vead minimiseeritud.
Eksperimendiga kaasnevates küsitlustes leiti, et ChatGPT kasutamine tekitas õpilastes liigset enesekindlust. Õpilased arvasid, et ChatGPT kasutamine ei mõjutanud neid negatiivselt, kuigi see polnud nii. Õpilased, kes kasutasid tehisintellekti tuutorina, arvasid, et nad olid testis oluliselt paremini hakkama saanud.
See on küll vaid üks uuring ühes riigis, mille tulemusi peaks mitmete täiendavate uuringutega kinnitama. Kuid see eksperiment oli üsna laiaulatuslik - osales ligi tuhat õpilast üheksandast klassist 2023. aastal.
