W eksperymencie zespołu Hamsy Bastani w jednym tureckim liceum uczniowie korzystający z czatu opartego na GPT-4 w podstawowej wersji radzili sobie lepiej podczas ćwiczeń z matematyki, a na późniejszym sprawdzianie bez pomocy wypadli gorzej niż grupa bez AI. Przy tutorze korzystającym z rozwiązań i wskazówek przygotowanych przez nauczycieli nie stwierdzono istotnej różnicy na sprawdzianie względem grupy bez AI. Zespół Grega Kestina porównał dwie formy pracy na dwóch lekcjach kursu fizyki na Harvardzie. W testach po lekcji wyniki były lepsze po pracy ze specjalnie przygotowanym tutorem niż po zajęciach, na których studenci aktywnie pracowali nad tym samym materiałem. Poniższa sesja to propozycja redakcji; żadne z tych badań nie testowało tego promptu.

Jedna sesja, dwa zadania

  1. Wybierz umiejętność i parę zadań. Weź z listy ćwiczeń zadanie A, które da się rozwiązać na podstawie przerobionego materiału. Odłóż zadanie B: ma sprawdzać tę samą umiejętność na innych danych, a jego rozwiązania jeszcze nie znasz. Zapisz, co chcesz umieć, np. „Obliczę średnią dla połączonych grup i wyjaśnię, skąd biorą się wagi”. Przygotuj polecenia, kartkę lub edytor bez podpowiedzi AI oraz materiał z kursu. Jeśli prowadzący udostępnił klucz, odłóż go do sprawdzenia. Jeżeli nie masz dwóch zadań, których rozwiązania da się sprawdzić z kluczem lub materiałem z kursu, zacznij od przykładu poniżej. Zanim wkleisz materiał do czatu, upewnij się, że możesz go udostępnić.
  2. Zapisz własną próbę A. Pracuj bez AI. Zapisz, co już wynika z danych i jaki krok próbujesz wykonać. Jeśli nie wiesz, jak zacząć, wypisz dane i nazwij decyzję, której nie potrafisz podjąć. To wystarczy, żeby poprosić o wskazówkę do konkretnego miejsca.
  3. Poproś o jedną podpowiedź i wróć do kartki. Wklej instrukcję poniżej z treścią A. Gdy tutor poprosi o próbę, wyślij swój zapis. Sprawdź, czy wskazówka dotyczy twojego kroku i czy zgadza się z poleceniem oraz materiałem kursu. Wykonaj następny krok samodzielnie. Jeśli znów utkniesz, pokaż nową próbę i dopiero wtedy poproś o kolejną wskazówkę. Zapisz pełne rozwiązanie A, sprawdź wynik i tok rozumowania z kluczem lub materiałem z zajęć, a potem zanotuj, co zmieniła podpowiedź. Jeśli nadal nie możesz uzasadnić metody, wróć do przykładu z kursu i przełóż próbę B.
  4. Rozwiąż B bez AI. Jeśli korzystasz z opcji „ułóż podobne”, napisz tutorowi, że A jest gotowe, i przepisz samo polecenie B po sprawdzeniu go według wskazówek poniżej. Zamknij czat i odłóż zapis A. Zostaw tylko pomoce dopuszczone na egzaminie, np. kartę wzorów, jeśli będzie dostępna. Zapisz wynik i uzasadnienie albo ostatni krok, do którego udało ci się dojść. Zostaw ten zapis w pierwotnej postaci, nawet jeśli później zauważysz błąd.
  5. Sprawdź B i zapisz wyniki osobno. Dopiero po zapisaniu próby zajrzyj do klucza B lub sprawdź odpowiedź z materiałem kursu. Porównaj metodę, uzasadnienie i wynik. Jeśli klucz pokazuje inną metodę, użyj definicji lub przykładu z kursu, żeby sprawdzić, czy obie drogi są poprawne. Jeśli masz tylko wynik i nadal nie wiesz, czy rozumowanie się broni, oznacz je jako niezweryfikowane i pokaż konkretny krok prowadzącemu. Wynik B mówi, jak poradziłeś sobie z jednym podobnym zadaniem w tych warunkach. Przed egzaminem możesz powtórzyć próbę innego dnia na nowym zadaniu.

Instrukcja do wklejenia w czacie

Skopiuj blok, uzupełnij pola i wyślij go bez swojej próby. Treść zadania B wybranego z kursu zachowaj dla siebie.

Pomóż mi przećwiczyć jedną umiejętność przed egzaminem.
Przedmiot i temat: [uzupełnij]
Co chcę umieć: [napisz, co masz samodzielnie zrobić i uzasadnić]
Zadanie ćwiczeniowe A: [wklej pełne polecenie i dane]
Materiał odniesienia: [wklej potrzebną definicję z kursu albo wpisz „brak”]
Zadanie sprawdzające B: [wpisz „mam własne” albo „ułóż podobne”]

W pierwszej odpowiedzi tylko poproś o moją próbę A i poczekaj. Jeśli nie wiem,
jak zacząć, poproś, żebym zapisał dane i wskazał decyzję, na której utknąłem.

Gdy pokażę próbę, odnieś się do jednego konkretnego błędu lub luki.
Wskaż fragment mojego zapisu i daj jedną krótką wskazówkę albo zadaj
jedno pytanie naprowadzające. Nie podawaj wyniku, gotowego kroku
ani pełnego rozwiązania. Poczekaj, aż pokażę, co zrobiłem dalej.
Jeśli mój krok jest poprawny, powiedz krótko, dlaczego. Jeżeli nie da się
go ocenić z podanych informacji, powiedz, czego brakuje.

Kiedy napiszę, że skończyłem A, przy opcji „mam własne” przypomnij,
żebym zamknął czat i rozwiązał B bez pomocy. Przy opcji „ułóż podobne”
podaj tylko polecenie i komplet danych do nowego zadania o tej samej
umiejętności i podobnej trudności. Zadbaj, żeby dało się je rozwiązać
przy podanych założeniach. Nie podawaj podpowiedzi, odpowiedzi ani klucza
do B, dopóki nie pokażę zapisanej samodzielnej próby. Nawet jeśli
poproszę wcześniej o wynik, odeślij mnie do samodzielnej próby.

Gdy czat nie trzyma się instrukcji

  • AI zdradziło rozwiązanie. Przerwij czytanie i oznacz zadanie jako „rozwiązanie ujawnione”. Jeśli stało się to w A, potraktuj je jako przykład i zacznij od własnej próby na innym zadaniu. Jeśli stało się to w B, wybierz inne zadanie sprawdzające. Ponowna próba na tym samym poleceniu nie zastąpi próby z nieznanym rozwiązaniem.
  • AI źle oceniło twój krok. Zachowaj swój zapis. Wskaż modelowi sporną linijkę i podaj definicję albo regułę z kursu. Poproś o ponowne sprawdzenie tylko tego kroku. Jeśli ocena nadal budzi wątpliwości, rozstrzygnij je na podstawie klucza, materiału lub z pomocą prowadzącego. Zgodność odpowiedzi dwóch czatów nie zastępuje sprawdzenia reguły.
  • AI ułożyło wadliwe B. Przed próbą przeczytaj polecenie i sprawdź, czy wiadomo, co obliczyć lub uzasadnić, czy są wszystkie dane i czy założenia się nie wykluczają. Jeśli zadanie jest wadliwe albo nie możesz niezależnie sprawdzić odpowiedzi, zastąp je zadaniem z kursu z wiarygodnym kluczem. Jeśli wadę odkryjesz po próbie, zapisz „zadanie do wymiany” i nie licz wyniku do samooceny. Gdy nie masz zamiennika, zapisz „brak ważnej próby B” i wróć do niej po znalezieniu sprawdzonego zadania.

Scenariusz do wypróbowania: średnia dla dwóch grup

Potrzebujesz poniższych poleceń i klucza, czatu oraz kartki lub prostego edytora. Jeśli chcesz wykonać sesję teraz, zacznij od polecenia A. Gdy zapiszesz poprawkę po podpowiedzi, sprawdź ją w kluczu A. Po zapisaniu próby B możesz przeczytać klucz B, przykładowy przebieg i kartę.

Zadanie A. Na ćwiczeniach ze statystyki grupa 10 osób uzyskała średnio 6 punktów z quizu, a osobna grupa 20 osób uzyskała średnio 12 punktów z tego samego quizu. Podane średnie są dokładne. Oblicz średni wynik wszystkich osób i wyjaśnij, co decyduje o wadze każdej średniej grupowej.

Klucz redakcji do A

Sprawdź dopiero po poprawce. Suma punktów wynosi 10 × 6 + 20 × 12 = 300. Dzielisz ją przez 30 osób i otrzymujesz 10 punktów. Wagi to 10/30 i 20/30; można też użyć proporcji 1 : 2 i obliczyć (6 + 2 × 12) / 3 = 10.

Zadanie B. Na kolejnym quizie grupa 30 osób uzyskała średnio 8 punktów, a osobna grupa 10 osób uzyskała średnio 20 punktów. Podane średnie są dokładne. Oblicz średni wynik wszystkich osób i wyjaśnij, co decyduje o wadze każdej średniej grupowej. Rozwiąż po zakończeniu pracy nad A, bez czatu i bez zaglądania do rozwiązania A.

Klucz redakcji do B

Sprawdź dopiero po zapisaniu samodzielnej próby. Suma punktów wynosi 30 × 8 + 10 × 20 = 440. Dzielisz ją przez 40 osób i otrzymujesz 11 punktów. Wagi to 30/40 i 10/40. Równoważne uzasadnienie: pierwsza grupa jest trzy razy liczniejsza, więc (3 × 8 + 20) / 4 = 11. Sam wynik „11” nie pokazuje, dlaczego średnie mają różne wagi.

Jak przebiegła sesja w przykładzie redakcji

Student wybiera cel: policzyć średnią dla połączonych grup i uzasadnić wagi. W instrukcji wpisuje „statystyka, średnia ważona”, podaje treść A, jako materiał odniesienia wpisuje „brak”, a przy B zaznacza „mam własne”. Przed wysłaniem instrukcji zapisuje swoją próbę: (6 + 12) / 2 = 9.

Fragment rozmowy (przykład redakcji, zapis fikcyjny):

AI: Pokaż swoją próbę rozwiązania A.
Student: Wyszło mi 9. Dodałem średnie obu grup i podzieliłem przez dwa.
AI: W zapisie „dzielę przez dwa” obie grupy traktujesz jednakowo. Jak z liczebności grupy i jej średniej odtworzysz sumę punktów tej grupy?

Student wraca do kartki. Liczy 10 × 6 + 20 × 12 = 300 punktów, a potem dzieli przez 10 + 20 = 30 osób. Otrzymuje 10 punktów. Wyjaśnia, że każda osoba ma taki sam udział w średniej ogólnej, więc grupa 20 osób ma dwa razy większą wagę niż grupa 10 osób. Sprawdza tylko część A w kluczu. Mógł poprosić czat o gotowy rachunek. Wtedy zobaczyłby, jak obliczyć średnią, ale w zapisie sesji nie mógłby odnotować, że sam ułożył rachunek po wskazówce.

Student zamyka czat i odkłada A. W zadaniu B zapisuje: (30 × 8 + 10 × 20) / 40 = 440 / 40 = 11 punktów. Uzasadnia, że wagi to udziały grup w całej zbiorowości: 30/40 i 10/40. Zapisuje odpowiedź przed sprawdzeniem klucza. W karcie odnotowuje osobno: „A: poprawne po jednej wskazówce; wcześniej nadałem obu grupom tę samą wagę” oraz „B: samodzielnie poprawna metoda, uzasadnienie i wynik; sprawdzone z kluczem redakcji”. Jako następny krok zapisuje: „Jutro obliczę średnią dla trzech grup o różnych liczebnościach i wyjaśnię wagi”.

Karta samooceny do skopiowania

  • Cel sesji: …
  • A, z pomocą: Pierwsza próba: … Podpowiedź i moja poprawka: … Po sprawdzeniu: poprawne / do poprawy / niezweryfikowane.
  • B, samodzielnie: Wynik lub miejsce, w którym utknąłem: … Metoda i uzasadnienie: … Po sprawdzeniu: poprawne / do poprawy / niezweryfikowane / brak ważnej próby.
  • Podstawa sprawdzenia: Nazwa klucza albo temat i strona materiału z kursu: …
  • Następny krok: Co konkretnie przećwiczę lub co sprawdzę na nowym zadaniu: …

Oznacz B jako „poprawne”, gdy zgadzają się metoda, uzasadnienie i wynik. Jeśli wynik jest poprawny, ale nie umiesz wyjaśnić metody, zapisz „do poprawy” i wskaż brakujący fragment. Jeśli odpowiedź była ujawniona przed próbą albo zadanie okazało się wadliwe, zapisz „brak ważnej próby”.

Źródła