Scenariusz do wypróbowania. Zadania, przykładowe odpowiedzi i fikcyjne wyniki są opracowaniem redakcji.

Przygotuj dwie kartki na tę samą umiejętność

Sprawdzasz, czy student potrafi sformułować wniosek z dobrowolnej ankiety w granicach zebranych danych. W odpowiedzi szukasz wyniku wśród respondentów, granicy uogólnienia, możliwego mechanizmu błędu i następnego kroku, który pozwoli lepiej poznać opinię całej grupy.

Na osobnych kartkach wydrukuj wspólne polecenie i po jednym opisie. Oba opisy mają tę samą konstrukcję. Ankietę otrzymała cała grupa, odpowiedziała część osób, a większość odpowiadających poparła propozycję. Tematy i liczby się różnią. Podane odsetki ograniczają wpływ rachunków na wynik. Przed zajęciami rozwiąż oba zadania i poproś drugą osobę, by zrobiła to z wydruku. Jeśli jedno sformułowanie podpowiada rozwiązanie albo wymaga dodatkowego wyjaśnienia, popraw je przed rozdaniem kartek.

Wspólne polecenie do skopiowania

Przeczytaj opis ankiety. Napisz krótką notatkę dla osoby, która ma zdecydować o zmianie. Podaj wynik ankiety. Wyjaśnij, do kogo możesz odnieść ten wynik i dlaczego odpowiedzi mogłyby wyglądać inaczej, gdyby wypowiedziała się cała grupa. Zaproponuj jeden krok, który pomoże poznać zdanie osób, od których brakuje odpowiedzi.

Zadanie A · Slajdy przed zajęciami

Prowadząca rozważa udostępnianie slajdów przed zajęciami. Wysłała dobrowolną ankietę do wszystkich 60 osób z grupy. Odpowiedziało 20 osób. Za udostępnianiem slajdów wcześniej było 16 z 20 odpowiadających (80%).

Zadanie B · Przykłady przed zajęciami

Prowadzący rozważa udostępnianie rozwiązanych przykładów przed zajęciami. Wysłał dobrowolną ankietę do wszystkich 60 osób z grupy. Odpowiedziało 30 osób. Za udostępnianiem przykładów wcześniej było 21 z 30 odpowiadających (70%).

Zbierz pierwsze odpowiedzi, przeprowadź ćwiczenie i zbierz drugie

Zaplanuj 22 minuty pracy oraz osobny czas na omówienie. Przygotuj dla każdej osoby dwie kartki z tym samym kodem, bez nazwiska. W obu pomiarach studenci pracują indywidualnie, korzystają tylko z kartki z poleceniem i oddają odpowiedź z kodem. W tych dwóch etapach wyłączają AI i odkładają notatki. Wyniki służą do poprawienia zajęć i nie wchodzą do oceny z przedmiotu. Tempo nie jest punktowane. Jeśli ktoś ma uzgodniony dłuższy czas lub dostępny format, zapewnij to w obu pomiarach i zapisz warunki bez podawania przyczyny dostosowania.

  1. Przed ćwiczeniem · 6 minut. Rozdaj A i zbierz odpowiedzi przed uruchomieniem AI. Klucz i komentarze do A zostaw na omówienie po obu pomiarach.
  2. Ćwiczenie · 10 minut. Rozdaj trzeci przypadek i instrukcję poniżej. Jeśli dostęp do narzędzia jest nierówny, wybierz dla całej grupy jedną odpowiedź modelu, wygenerowaną na podstawie podanego opisu i roboczej notatki. Sprawdź przed zajęciami, czy zawiera pytania zgodne z instrukcją. W tym wariancie każdy najpierw pisze własną notatkę, a potem sam odnosi wspólne pytania do swojej pracy. Zapisz użyty wariant.
  3. Po ćwiczeniu · 6 minut. Poproś o zamknięcie czatu i odłożenie materiałów z ćwiczenia. Rozdaj B, zbierz kartki i dopiero wtedy omów oba zadania.

Przypadek do ćwiczenia z AI

Prowadząca rozważa udostępnianie krótkiej listy pojęć przed zajęciami. Wysłała dobrowolną ankietę do wszystkich 40 osób z grupy. Odpowiedziało 16 osób. Za udostępnianiem listy wcześniej było 12 z 16 odpowiadających (75%).

Instrukcja dla studentów do skopiowania

Przez 2 minuty napisz własną notatkę według tego samego polecenia co na pierwszej kartce. Przez kolejne 3 minuty pracuj z AI. Wklej opis trzeciej ankiety i swoją notatkę bez nazwiska, kodu i danych z zajęć. Użyj polecenia poniżej. Jeśli pracujesz ze wspólną odpowiedzią modelu, odnieś jej pytania do swojej notatki.

„Zadaj mi dwa krótkie pytania do tej notatki. Pierwsze ma pomóc mi sprawdzić, o kim mówią liczby. Drugie ma pomóc mi ustalić, czyj głos trzeba jeszcze poznać i jak do tych osób dotrzeć. Poprzestań na pytaniach i trzymaj się danych z opisu”.

Przez ostatnie 5 minut wróć do opisu ankiety. Odpowiedz sobie na pytania, sprawdź liczby i własnymi słowami popraw notatkę. Podkreśl zdanie, które zmieniło się po sprawdzeniu. Jeśli model poda gotową odpowiedź, poproś raz o same pytania. Jeśli znów poda rozwiązanie, odłóż czat i użyj pytań przygotowanych przez prowadzącego.

Do przygotowania wspólnej odpowiedzi użyj roboczej notatki „75% grupy chce listy pojęć. Wprowadźmy ją”. Jako zapas możesz rozdać dwa pytania opracowane przez redakcję. „Kogo obejmuje mianownik odsetka 75% i jakiej opinii nadal brakuje?” „Kto mógł chętniej odpowiedzieć i jak dotrzesz do pozostałych?”. Po sprawdzeniu student może zapisać, że 12 z 16 respondentów poparło listę, a zdanie całej grupy pozostaje nieznane. Osoby, które już robią własne listy, mogły częściej odpowiadać i częściej chcieć listy od prowadzącej, więc ankieta mogła zawyżyć poparcie. Przed decyzją można ponowić to samo pytanie wśród osób, które nie wypełniły ankiety.

Oceń obie odpowiedzi tym samym kluczem

Oceń każde kryterium osobno na 0 albo 1 punkt. Zapisz cztery oceny i ich sumę od 0 do 4. Jeśli druga osoba może pomóc w ocenie, daj jej przemieszane kartki z obu pomiarów bez informacji o kolejności zadań. Policz punkty przed zestawieniem kodów.

Kryterium Przyznaj 1 punkt, gdy odpowiedź… Przykład na 0 punktów
K1. Wynik podaje poprawną parę liczby głosów za i liczby odpowiedzi albo poprawny odsetek. Jeśli podaje oba zapisy, muszą się zgadzać. „16 z 60 odpowiedzi było za” w A.
K2. Zakres przypisuje wynik respondentom i wyraźnie zaznacza, że opinia całej grupy pozostaje nieustalona. „Większość grupy jest za”.
K3. Mechanizm podaje jako możliwość, że osoby o określonej opinii częściej lub rzadziej odpowiadały, i wskazuje, jak mogło to zmienić odsetek poparcia. Uznaj oba kierunki. „Odpowiedzi jest mało”, bez powiązania udziału w ankiecie z opinią.
K4. Następny krok podaje, jak zebrać odpowiedzi od osób pominiętych w wyniku, np. ponowić pytanie w grupie z dodatkową możliwością odpowiedzi dla nieobecnych. „Zróbmy więcej ankiet”, bez wskazania, jak dotrzeć do brakujących osób.

Przykładowa odpowiedź do A · 4/4

Za wcześniejszym dostępem do slajdów było 16 z 20 respondentów. Opinia całej grupy pozostaje nieustalona. Zwolennicy mogli częściej odpowiadać, bo zależało im na zmianie, więc ankieta mogła zawyżyć poparcie. Przed decyzją zapytajmy osoby, które jeszcze nie odpowiedziały, na zajęciach i przez formularz dla nieobecnych.

Przykładowa odpowiedź do B · 4/4

Za wcześniejszym dostępem do przykładów było 21 z 30 respondentów. To wynik wśród odpowiadających, a poparcie w całej grupie pozostaje nieznane. Przeciwnicy mogli odpowiadać częściej, żeby wyrazić sprzeciw, więc ankieta mogła zaniżyć poparcie. Przed decyzją poprośmy osoby, które dotąd nie odpowiedziały, o odpowiedź na to samo pytanie w krótkim formularzu otwartym także po zajęciach.

W A „80% respondentów jest za, a zdania grupy nie znamy” daje 2/4 za K1 i K2. W B „70% grupy jest za” daje 1/4 za K1, bo liczba zgadza się z opisem, a błędne uogólnienie obniża K2. Samo „chętniej odpowiadali zwolennicy” pozostawia K3 na 0. Dodanie, że mogło to zawyżyć poparcie, spełnia K3 w obu wersjach.

Połącz wyniki tych samych osób

Wpisz po jednej osobie w wierszu. Zmianę licz jako punkty po ćwiczeniu minus punkty przed ćwiczeniem. Brak kartki lub brak podjętej próby oznacz jako „brak” z powodem, jeśli go znasz. Oddana próba, która nie spełnia żadnego kryterium, to 0 punktów. W podsumowaniu zmiany uwzględnij tylko pełne pary wykonane w zaplanowanych warunkach. Pozostałe pomiary zachowaj w tabeli. Jeśli ktoś uzupełni zadanie w innym terminie po omówieniu odpowiedzi, zapisz to oddzielnie jako pomiar w innych warunkach.

Fikcyjne wyniki · opracowanie redakcji

Kod A (K1–K4) A / 4 B (K1–K4) B / 4 Zmiana Uwagi
01 1100 2 1110 3 +1
02 1000 1 1100 2 +1
03 1110 3 1111 4 +1
04 1100 2 1100 2 0
05 1000 1 1100 2 +1
06 1111 4 1111 4 0 Maksimum już w A
07 1110 3 1100 2 −1
08 0000 0 1100 2 +2 Podjęta próba w A
09 1000 1 brak Wyszła przed B
10 brak 1100 2 Dołączył na początku ćwiczenia

Z 10 osób 9 oddało A i 9 oddało B. To różne dziewiątki. Pełne pary ma 8 osób. Wśród nich suma punktów przed ćwiczeniem wynosi 16, a po ćwiczeniu 21. Średnia wzrosła z 16 ÷ 8 = 2,00 do 21 ÷ 8 = 2,625 punktu na 4. Średnia zmiana wynosi (21 − 16) ÷ 8 = +0,625 punktu, czyli około +0,63 punktu. Pięć osób poprawiło wynik, dwie utrzymały go, a jedna uzyskała niższy.

W tych samych ośmiu parach K2 poprawiło się z 5/8 do 8/8, a K3 pozostało na poziomie 3/8, choć jedna osoba zyskała tam punkt i jedna go straciła. W K4 wynik wzrósł z 1/8 do 2/8. Podsumowanie dotyczy ośmiu osób. Gdy brak pomiaru wiąże się np. z trudnością zadania albo dostępem do ćwiczenia, osoby z kompletem odpowiedzi mogą dawać inny obraz niż cała grupa.

Wybierz zmianę przed kolejną próbą

W przykładzie studenci częściej poprawnie ograniczali wniosek do respondentów w drugim zadaniu. Różnica dotyczy samodzielnej odpowiedzi napisanej zaraz po ćwiczeniu. W tym układzie pierwsze zadanie mogło oswoić studentów z poleceniem, a pod koniec zajęć mogło pojawić się zmęczenie. B mogło też być łatwiejsze lub trudniejsze od A, choć obie kartki mają tę samą konstrukcję. Przy kolejności A, ćwiczenie, B te wpływy nakładają się na ewentualny wpływ ćwiczenia. Z samego wzrostu nie ustalisz wkładu AI ani tego, co studenci będą umieli po tygodniu.

Przed pilotażem zapisz reguły decyzji. Poniższe liczby to robocze progi redakcji dla tej próby.

Co zaobserwujesz Co zmienisz
Brakuje więcej niż dwóch porównywalnych par na dziesięć, a przyczyny wskazują na organizację zajęć. Przenieś oba pomiary w głąb bloku zajęć, jeśli prace giną przez spóźnienia lub wcześniejsze wyjścia. Przy awarii dostępu użyj jednej sprawdzonej odpowiedzi modelu dla wszystkich. Powtórz pilotaż w nowych warunkach.
Co najmniej połowa osób z pełną parą dostaje 0 po ćwiczeniu w K3 lub K4. W ostatnich pięciu minutach ćwiczenia każ dopisać brakujący element. Dla K3 poproś o wskazanie, kto mógł odpowiadać częściej i w którą stronę mogło to przesunąć wynik. Dla K4 poproś o wskazanie brakującej grupy i sposobu dotarcia do niej.
Żaden z powyższych warunków nie wystąpił. Powtórz ćwiczenie w tej samej postaci z następną grupą i sprawdź, czy rozkład punktów za poszczególne kryteria się powtórzy.

W fikcyjnym pilotażu są dwa braki, więc próg organizacyjny nie uruchamia zmiany. Po ćwiczeniu 5 z 8 osób ma 0 w K3, a 6 z 8 ma 0 w K4. W kolejnej próbie zostaw pytania modelu, a w końcowej korekcie notatki poproś o dwa zdania. „Częściej mogli odpowiadać …, co mogło … odsetek poparcia”. „Żeby usłyszeć osoby, których odpowiedzi brakuje, zrobię …”. W kolejnej próbie policz osobno, ile pełnych par zyskało punkt w K3 i K4, ile go straciło i ile osób spełnia każde kryterium w drugim pomiarze.

Jeśli chcesz sprawdzić, czy na wynik mogła wpłynąć trudność kartek, przygotuj po tyle samo kart z napisem A–B i B–A. Potasuj je razem i rozdaj po jednej na osobę. Połowa rozwiąże A przed ćwiczeniem i B po nim, druga połowa B przed ćwiczeniem i A po nim. Przy nieparzystej liczbie osób dołóż jedną kartę wybraną rzutem monetą. Zbierz pierwszą kartkę, zanim rozdasz drugą. Prowadź to samo ćwiczenie dla wszystkich i policz zmiany oddzielnie dla każdej kolejności. Jeżeli poprawa pojawia się tylko wtedy, gdy B jest drugie, obejrzyj odpowiedzi i dopracuj kartki przed następną próbą. W małej grupie różnica między kolejnościami może też wynikać z przypadku lub nierównych braków. Taka zamiana ogranicza pomieszanie trudności kartki z momentem pomiaru. W obu kolejnościach studenci wykonują jednak ćwiczenie z AI i powtarzają typ zadania, więc nadal nie da się oddzielić wpływu AI od wpływu samej praktyki. Jeśli zmienisz jednocześnie ćwiczenie i kolejność kartek, porównanie z poprzednim pilotażem obejmie obie zmiany.

Jeśli chcesz sprawdzić wkład rozmowy z AI

Przygotuj drugą wersję ćwiczenia. Obie grupy dostają ten sam opis ankiety, piszą własną notatkę i mają tyle samo czasu na poprawkę. Jedna grupa dostaje pytania dopasowane przez AI do swojej notatki, druga odpowiada na dwa stałe pytania przygotowane wcześniej przez prowadzącego. Przydziel osoby losowo do obu wersji i w każdej rozłóż możliwie równo kolejność kartek A i B. Zastosuj ten sam klucz, a przy ocenianiu ukryj informację o przydziale, jeśli to możliwe. Porównaj średnią zmianę i braki w obu grupach. To porównanie dotyczy tych dwóch sposobów udzielania podpowiedzi. W małej grupie potraktuj różnicę jako wynik do sprawdzenia w kolejnej próbie.

Wzór zapisu pilotażu do skopiowania

Kod Wersja przed K1–K4 przed Suma przed Wersja po K1–K4 po Suma po Zmiana Uwagi lub powód braku
  • Grupa, data i sprawdzana umiejętność …
  • Czas i warunki obu pomiarów, wariant ćwiczenia z AI i odnotowane odstępstwa …
  • Liczba osób objętych próbą … Liczba odpowiedzi przed … po … Pełne porównywalne pary … Braki i odstępstwa według etapu …
  • Tylko pełne pary. Średnia przed … po … średnia zmiana … Poprawa … bez zmiany … spadek …
  • Tylko pełne pary. Liczba osób z punktem przed i po w każdym kryterium … Zyski i straty punktu w kryteriach, które zdecydują o zmianie …
  • Inne możliwe wyjaśnienia wyniku, w tym kolejność, trudność wersji i braki …
  • Ustalony próg … Obserwacja … Zmiana na następne zajęcia … Co wtedy sprawdzę …

Źródła