W badaniu zespołu Petera Scarfe’a z 2024 r. oceniający na University of Reading nie rozpoznali większości odpowiedzi wygenerowanych przez GPT-4 i włączonych do domowych egzaminów z psychologii. Ten wynik dotyczy konkretnych egzaminów na jednej uczelni i jednej wersji modelu. Przy sprawdzaniu własnego zadania weź pod uwagę także agentów takich jak Codex. Zależnie od uprawnień agent może przeczytać pakiet plików, wykonać obliczenia i zapisać kilka powiązanych dokumentów w ramach jednego zadania.

Załóż więc, że agent może przygotować spójny esej, notatkę o wyborze kontrargumentu i kolejne wersje tekstu. Złożoność polecenia, fikcyjne dane i opis kolejnych kroków mogą pomóc w nauce lub ocenie pracy domowej. Ich obecność nie daje jednak podstaw do przypisania toku rozumowania studentowi. Australijska agencja TEQSA zaleca dobieranie form oceny do umiejętności, które student ma pokazać. W tym scenariuszu esej pozostaje pracą domową, a samodzielne rozumowanie sprawdzasz na osobnej karcie w warunkach, w których możesz nadzorować odpowiedź.

Zapisz, co student ma umieć

Weź obecne polecenie i dokończ zdanie „Po tym zaliczeniu chcę wiedzieć, czy student potrafi…”. Użyj czasownika, któremu można przypisać konkretną odpowiedź. W naszym przykładzie student ma uzasadnić decyzję na podstawie danych i rozstrzygnąć, czy kontrargument zmienia jej zakres. W eseju szukasz uzasadnienia decyzji, a na zajęciach sprawdzasz, czy student potrafi ponownie wykonać ten sam rodzaj rozumowania wobec nowego zarzutu.

Polecenie przed zmianą

Scenariusz do wypróbowania. Poniższy przykład i dane przygotowała redakcja. Dotyczą fikcyjnej biblioteki.

Czy biblioteka uczelniana powinna w semestrze wydłużyć godziny otwarcia czytelni z 20.00 do 22.00 w dni robocze? Napisz esej argumentacyjny liczący 600–800 słów. Postaw tezę i uzasadnij ją na podstawie dwóch materiałów z pakietu.

Pakiet do obu wersji zaliczenia

  • Materiał A. Rejestr zajętości czytelni. W tygodniu sesji od poniedziałku do piątku o 19.45 zajętych było odpowiednio 22, 24, 21, 23 i 20 z 30 miejsc. W jednym tygodniu bez egzaminów o tej samej porze zajęto odpowiednio 4, 11, 5, 12 i 3 miejsca. Czytelnia zamykała się o 20.00.
  • Materiał B. Notatka kierowniczki biblioteki. Przy obecnym grafiku bibliotekarze mogą obsadzić dodatkowe dwie godziny we wtorki i czwartki. Otwarcie czytelni po 20.00 w pozostałe dni robocze wymaga dodatkowych dyżurów.

Przed rozdaniem zadania daj aktualnemu agentowi poprawione polecenie do części domowej, oba materiały i kryteria oceny. Użyj danych fikcyjnych albo udostępnionych do takiej próby. Poproś agenta, żeby sam przygotował komplet do oddania, i oceń wynik własną tabelą. W tym przykładzie sprawdź, czy połączy ograniczenia grafiku z danymi o zajętości i uzasadni zmianę tezy. Wysoki wynik pokaże, które wymagania da się spełnić bez udziału studenta. Jeśli pierwsza odpowiedź zawiera błędy, poproś agenta o sprawdzenie jej według kryteriów i poprawienie. Przed kolejną edycją przedmiotu powtórz próbę z narzędziem i dostępem, które odpowiadają warunkom pracy studentów.

Ustal, przy czym AI może pomóc

Rozpisz pracę od pierwszej tezy do oddania eseju. Daj wszystkim tę samą listę zarzutów, żeby każdy mógł od razu skonfrontować z nimi swoją propozycję. Dopuść AI wyłącznie do szukania dodatkowych zarzutów. Wybór zarzutu, sprawdzenie danych i decyzję o zmianie tezy zostaw studentowi. Lista wystarczy do zdobycia pełnej punktacji.

Przed udostępnieniem polecenia sprawdź zasady obowiązujące na swoim przedmiocie i uczelni. Wytyczne AGH zalecają, by prowadzący wyjaśniał ograniczenia dotyczące AI i wiązał je z celem zadania. Na Wydziale Filologicznym UJ prowadzący i studenci wspólnie ustalają na początku semestru dopuszczalny cel, zakres i sposób korzystania z AI w pracach z danego przedmiotu. Standardy wydziału wymagają też podania w pracy narzędzia, celu i zakresu jego użycia.

Polecenie po zmianie. Do skopiowania z pakietem A i B

Przed zajęciami. Czy biblioteka uczelniana powinna w semestrze wydłużyć godziny otwarcia czytelni z 20.00 do 22.00 w dni robocze? Możesz poprzeć zmianę dla wszystkich dni, zaproponować węższy wariant albo uzasadnić pozostawienie obecnych godzin.

  1. Zapisz wstępną tezę w jednym zdaniu. Przeczytaj wspólną listę zarzutów. Rozważ dwa zarzuty do swojej tezy z listy, własne lub zaproponowane przez model. Wybierz ten, który najbardziej podważa Twoją propozycję. Sprawdź jego przesłankę w materiale A lub B i wskaż, co materiał pozwala stwierdzić, a czego z niego nie ustalisz.
  2. Napisz samodzielnie esej liczący 600–800 słów. Postaw ostateczną tezę, uzasadnij ją, odwołując się do obu materiałów, i odpowiedz na wybrany zarzut. Wskaż, które liczby lub fragmenty materiałów wspierają Twój wniosek i gdzie kończy się ich przydatność.
  3. Dołącz notatkę do 150 słów. Przytocz wstępną tezę i oba rozważane zarzuty. Wyjaśnij, który wybierasz i dlaczego jest mocniejszy od drugiego. Wskaż sprawdzony fragment materiału, wynik sprawdzenia i granicę wniosku. Podaj ostateczną tezę w tym samym brzmieniu co w eseju i wyjaśnij, dlaczego ją utrzymujesz lub zmieniasz. Na końcu podaj pochodzenie obu zarzutów i zadeklaruj, czy użyto AI. Oddaj esej i notatkę razem w miejscu i terminie wskazanym przez prowadzącego, przed częścią na zajęciach.

Zasady AI. Jeśli chcesz uzupełnić listę, możesz poprosić model wyłącznie o dodatkowe zarzuty. Podaj mu temat i wstępną tezę. Samodzielnie wybierz zarzut, sprawdź dane oraz napisz i zredaguj esej i notatkę. W notatce podaj nazwę narzędzia, cel i zakres użycia oraz wskaż, które z rozważanych zarzutów pochodzą od modelu. Jeśli żaden nie pochodzi od modelu, zapisz to. Jeśli w ogóle nie używasz modelu, wpisz „Bez AI”. W każdym wariancie można uzyskać pełną punktację.

Przykładowa prośba do modelu. „Rozważam wydłużenie godzin otwarcia uczelnianej czytelni z 20.00 do 22.00 w dni robocze. Uważam, że [wstaw tezę]. Zaproponuj dwa różne kontrargumenty. Sformułuj je jako zarzuty do sprawdzenia. Nie dodawaj danych ani odpowiedzi na zarzuty”.

Wspólna lista zarzutów

  • Dwa tygodnie obserwacji mogą nie wystarczyć do ustalenia godzin na cały semestr.
  • Obecny grafik umożliwia wydłużenie godzin tylko w dwa dni, choć podczas sesji wysoka zajętość występowała też w pozostałe dni.
  • Osoby zajmujące miejsca o 19.45 mogły planować wyjście przed 20.00.
  • Mała zajętość tuż przed zamknięciem może wynikać z tego, że część osób z góry wybrała inne miejsce do nauki.
  • Zamknięcie o 20.00 może utrudniać naukę w sesji, kiedy tuż przed zamknięciem większość miejsc jest jeszcze zajęta.

Na zajęciach. Dostaniesz kartę z nowym kontrargumentem. Pracuj samodzielnie z kartą, własnym esejem i materiałami A i B, bez generatywnej AI. W pilotażu przewidujemy osiem minut na odpowiedź, z uwzględnieniem uzgodnionych dostosowań. Tempo pisania nie podlega ocenie. Napisz, czy utrzymujesz, zawężasz lub zmieniasz tezę. Uzasadnij decyzję, odnosząc się do nowej informacji i co najmniej jednej danej z materiału A lub B. Wskaż jedną brakującą informację i wyjaśnij, jak pomogłaby rozstrzygnąć sprawę. Oddaj odpowiedź prowadzącemu na koniec tej części.

W eseju oceniasz uzasadnienie decyzji, a w notatce opis wyboru zarzutu i sprawdzenia danych. Zasady użycia AI i deklaracja określają, czego oczekujesz od studenta. Samodzielną pracę z nową informacją oceniasz w części na zajęciach. Słaby wynik tej części mówi o wykonaniu konkretnego zadania. Nie wystarcza do rozstrzygnięcia, kto przygotował esej.

Przykładowa notatka studenta opracowana przez redakcję

Wstępna teza. Czytelnia powinna być otwarta do 22.00 we wszystkie dni robocze semestru. Rozważyłem dwa zarzuty. Obecny grafik pozwala wydłużyć godziny tylko w dwa dni. Osoby obecne o 19.45 mogły planować wyjście przed 20.00. Wybrałem grafik, bo ogranicza liczbę możliwych dyżurów nawet przy dużym popycie. W notatce kierowniczki (materiał B) sprawdziłem, że bez dodatkowych dyżurów można otwierać dłużej we wtorki i czwartki. Grafik nie mówi, czy biblioteka znajdzie środki na inne dni. Zawężam tezę do próby, bo grafik na nią pozwala, a pomiary w materiale A kończą się przed 20.00. Ostateczna teza. Czytelnia powinna przez pierwszy miesiąc semestru działać do 22.00 we wtorki i czwartki, a o dalszych dyżurach należy zdecydować po pomiarze zajętości po 20.00. Bez AI. Oba zarzuty pochodzą ze wspólnej listy.

Przygotuj nowy kontrargument i ustal kryteria oceny

Weź decyzję, którą student podejmuje w eseju. Dopisz jedną okoliczność, która może zmienić jej uzasadnienie. Ułóż pytanie tak, by mogły na nie odpowiedzieć osoby o różnych stanowiskach. Ogłoś wcześniej formę i kryteria odpowiedzi. Kartę rozdaj na początku nadzorowanej części. Nowa informacja pozwala sprawdzić, jak student stosuje znane kryteria w zmienionej sytuacji. Samo późniejsze udostępnienie karty lub skrócenie czasu niewiele daje, jeśli student może przekazać materiały agentowi w trakcie odpowiedzi.

Na sali możesz użyć papierowej karty i wydruków eseju oraz pakietu A i B. Jeśli odpowiedź jest cyfrowa, użyj nadzorowanego stanowiska z dostępem do tych materiałów i ustal z wyprzedzeniem, jak ograniczysz dostęp do generatywnej AI, zachowując uzgodnione technologie wspomagające. Gdy kurs jest zdalny i nie możesz zapewnić porównywalnych warunków, rozważ krótką rozmowę z pytaniem uzupełniającym o konkretną liczbę lub przesłankę z odpowiedzi studenta. Jeśli także w tej formie nie możesz wiarygodnie sprawdzić samodzielności, wykorzystaj kartę jako ćwiczenie i zaplanuj osobny moment oceny tej umiejętności.

Karta dla prowadzącego. Rozdaj po oddaniu esejów.

Od początku semestru druga czytelnia na kampusie będzie otwarta do 22.00 i będzie miała 20 miejsc. Ktoś twierdzi, że dzięki temu wydłużanie pracy pierwszej czytelni jest zbędne. Napisz, czy utrzymujesz, zawężasz lub zmieniasz tezę z eseju. Uzasadnij decyzję na podstawie nowej informacji i co najmniej jednej danej z materiału A lub B. Wskaż jedną brakującą informację i wyjaśnij, jak pomogłaby rozstrzygnąć sprawę.

Kryteria do skopiowania

Przyznaj po 0–2 punkty w każdym wierszu. Sprawdzaj warunki od najwyższego poziomu. Zapisz osobno wynik za esej z notatką (do 4 pkt) i za odpowiedź na zajęciach (do 2 pkt).

Co oceniasz 2 pkt 1 pkt 0 pkt
Uzasadnienie tezy i wybór zarzutu Esej uzasadnia zakres decyzji i wyjaśnia wpływ wybranego zarzutu. Notatka pokazuje oba zarzuty i wyjaśnia, dlaczego jeden jest mocniejszy. Esej podaje powód decyzji lub wyjaśnia wpływ zarzutu, ale przynajmniej jeden warunek na 2 pkt pozostaje niespełniony. W eseju brakuje zarówno powodu decyzji, jak i wyjaśnienia wpływu zarzutu.
Użycie materiałów w eseju i notatce Esej trafnie wykorzystuje A i B do uzasadnienia decyzji. Notatka wskazuje sprawdzony fragment, wynik sprawdzenia zarzutu i granicę wniosku. W eseju lub notatce jest co najmniej jedno trafne użycie A lub B, ale przynajmniej jeden warunek na 2 pkt pozostaje niespełniony. Ani esej, ani notatka nie wykorzystują trafnie żadnego materiału.
Odpowiedź na nowy zarzut na zajęciach Odpowiedź uzasadnia, co dzieje się z tezą w świetle nowej informacji, trafnie wykorzystuje co najmniej jedną daną z A lub B i wyjaśnia, jak brakująca informacja pomogłaby w decyzji. Odpowiedź uzasadnia, co dzieje się z tezą w świetle nowej informacji, ale brakuje trafnego użycia A lub B albo wyjaśnienia, jak brakująca informacja pomogłaby w decyzji. Odpowiedź nie uzasadnia decyzji w świetle nowej informacji.

Dwie przykładowe odpowiedzi na kartę

Obie odpowiedzi opracowała redakcja. Punktem wyjścia jest ta sama teza z eseju, zapisana też w notatce. „Czytelnia powinna przez pierwszy miesiąc semestru działać do 22.00 we wtorki i czwartki, a o dalszych dyżurach należy zdecydować po pomiarze zajętości po 20.00”.

Utrzymanie tezy (2 pkt)

Utrzymuję miesięczną próbę do 22.00 we wtorki i czwartki. Druga czytelnia ma 20 miejsc, ale część może być już zajęta, gdy pierwsza zwykle się zamyka. Z materiału B wynika, że obecny grafik pozwala obsadzić właśnie te dwa wieczory. Podczas próby liczyłbym zajęte miejsca w obu czytelniach o tych samych porach po 20.00. Jeśli regularnie korzysta z nich jednocześnie ponad 20 osób, sama druga czytelnia nie pomieściłaby tylu osób naraz.

Zmiana tezy (2 pkt)

Zmieniam tezę. Na początku semestru zostawiłbym zamknięcie pierwszej czytelni o 20.00. Druga będzie już dostępna, więc można najpierw sprawdzić, czy mieści chętnych. Nawet 24 zajęte miejsca we wtorek sesyjny z materiału A to stan o 19.45. Nie wiemy, ile osób chciało zostać po 20.00. Sprawdziłbym, ile osób po 20.00 nie znajduje miejsca w drugiej czytelni we wtorki i czwartki. Jeśli regularnie brakuje miejsc, wróciłbym do próby wydłużenia godzin.

Przed rozdaniem własnej karty sprawdź kryterium na odpowiedziach prowadzących do różnych decyzji. W tych dwóch przykładach o pełnej punktacji decydują uzasadnienie odnoszące się do drugiej czytelni, trafne użycie B lub A oraz wskazanie pomiaru i jego znaczenia dla decyzji.

Przykładowa reguła zaliczenia

Punkty. Do zaliczenia potrzeba co najmniej 4 z 6 punktów, w tym co najmniej 1 z 2 za odpowiedź samodzielną. Wynik 3/4 za esej z notatką i 1/2 za odpowiedź daje zaliczenie. Wynik 4/4 i 0/2 oznacza brak zaliczenia mimo osiągnięcia progu sumy.

Organizacja. Przed rozdaniem zadania podaj miejsce oddania prac, termin eseju z notatką oraz daty obu terminów części samodzielnej. Limity długości i deklaracja użycia AI to wymagania organizacyjne, za które nie przyznajesz ani nie odejmujesz punktów. Ogłoś, do kiedy i w jaki sposób student może uzupełnić brakujący esej, notatkę lub deklarację albo dostosować długość tekstu. Gdy stwierdzisz braki, oznacz wynik jako niekompletny do czasu ich uzupełnienia. Jeśli student nie usunie braków w terminie, wynik to brak zaliczenia. Zasady ewentualnej poprawy ogłoś zgodnie z regułami przedmiotu.

Jeśli student jest nieobecny, nie odda odpowiedzi albo odda pustą kartę, oznacz część samodzielną jako brak odpowiedzi i udostępnij termin dodatkowy. Dotychczasowe punkty za esej z notatką zachowują ważność. W dodatkowym terminie daj inną kartę o podobnej trudności, na przykład o sali do nauki z 16 miejscami dostępnej do 22.00 we wtorki i czwartki. Użyj tych samych pytań, materiałów, warunków pracy i kryteriów. Jeśli odpowiedzi zabraknie również w terminie dodatkowym, wynik to brak zaliczenia.

Uzgodnij dostosowania przed rozdaniem karty. Możesz wydłużyć czas, udostępnić kartę i pakiet w formacie dostępnym dla czytnika ekranu albo przyjąć odpowiedź ustną. W wersji ustnej student dostaje czas na przygotowanie, te same pytania i materiały oraz odpowiada bez podpowiedzi. We wszystkich wersjach ocenie podlega to samo rozumowanie.

Wypróbuj zmianę w jednej grupie

Przed rozpoczęciem przyjmij osiem minut jako próbny czas odpowiedzi i zapisz, ile czasu możesz przeznaczyć na ocenę notatek i odpowiedzi. Po zajęciach porównaj obserwacje z tymi założeniami.

Co sprawdzasz Co zapisujesz po pierwszym użyciu
Czy zasady AI są zrozumiałe Przy rozdaniu zadania zapytaj, czy model może napisać notatkę i jak opisać pochodzenie zarzutów, jeśli oba są z listy i student nie użył AI. Zapisz liczbę poprawnych odpowiedzi na każde pytanie. Jeśli pojawi się wspólna pomyłka, pokaż odpowiadający jej fragment przykładowej notatki lub dozwoloną prośbę do modelu i ponów pytanie.
Co wnosi odpowiedź na zajęciach Najpierw przeczytaj esej, potem odpowiedź. Policz, ilu studentów uzasadniło decyzję w świetle nowej informacji. Zapisz anonimowy przykład tego, co zobaczyłeś w odpowiedzi, a czego nie pokazał esej. Jeśli odpowiedzi głównie powtarzają tezy, sprawdź, czy karta wymagała decyzji i czy pytanie o nią było jasne. W razie potrzeby zmień zarzut lub zadaj osobno pytania o decyzję, dane i brakującą informację.
Czy osiem minut wystarcza Policz, ile osób nie zdążyło dokończyć. Zapytaj po oddaniu, czy zabrakło czasu, czy nie było jasne, czego wymaga pytanie. Jeśli kilka osób potrafi wskazać pominięty krok i wyjaśnia, że zabrakło na niego czasu, wydłuż część samodzielną. Jeśli problemem była niejasność, przeredaguj pytanie i sprawdź je przed kolejną próbą.
Ile trwa ocenianie Zmierz osobno czas oceny esejów i czas oceny notatek oraz odpowiedzi. Zapisz łączną liczbę minut i liczbę prac. Jeżeli dodatkowa część przekracza ustalony limit, sprawdź, czy wystarczy krótsza notatka lub odpowiedź.

Zapis z pilotażu pokaże, co udało się zaobserwować w tej grupie i ile pracy wymagało zaliczenie. Ocena wpływu na uczenie się wymagałaby osobnego porównania. Na kolejną próbę zapisz jedną zmianę wynikającą z obserwacji i ponownie sprawdź ten sam wskaźnik.

Źródła