Ustal, co będzie oceniane

Scenariusz do wypróbowania. Na ćwiczeniach z metod ilościowych studenci doradzają bibliotece, kiedy wykonać dodatkowy pomiar zajętości czytelni. Cel jest wspólny dla obu ścieżek: student potrafi sprawdzić rachunek i zakres wniosku w odpowiedzi AI, a następnie uzasadnić decyzję danymi. Dowodem jest karta weryfikacji oddana samodzielnie przed otwarciem czatu lub otrzymaniem dodatkowej sugestii.

Najpierw daj wszystkim pakiet i kartę z następnej sekcji. Przewidź na kartę około 12 minut oraz uzgodnione dostosowania, w tym dodatkowy czas. Wolno użyć kalkulatora, własnych notatek z obliczeniami i potrzebnych technologii asystujących. Na tym etapie obowiązuje praca indywidualna bez podpowiedzi generatywnych i wyszukiwania. Odbierz kartę na papierze lub jako tekst na platformie kursu. Jeśli obie części odbywają się w jednej sali, otwórz drugą dopiero po zebraniu wszystkich kart, także od osób z wydłużonym czasem. Przy osobnym stanowisku możesz udostępnić drugi etap wcześniej osobie, która już oddała kartę, o ile nie ma ona kontaktu z osobami nadal pracującymi. Na drugą część przeznacz około 6 minut aktywnej pracy. Szybkość wykonania i wybór ścieżki nie wpływają na punkty.

Rozdaj wspólny pakiet i kartę

Materiał 1. Notatka biblioteki. Dane fikcyjne. Biblioteka ma czas na jeden dodatkowy odczyt w następną środę, o 12.00 albo o 16.00. Chce sprawdzić, czy odczyt z kolejnego dnia będzie zbliżony do dotychczasowych obserwacji o wybranej porze. Przy każdym odczycie zapisano liczbę zajętych i dostępnych miejsc. O 12.00 otwarta była tylko główna sala, a o 16.00 otwierano również aneks. Dostępne miejsca to wszystkie miejsca dopuszczone do użytku, w tym miejsca zajęte.

  • P12. Poniedziałek, 12.00. Zajętych 8 z 20 dostępnych miejsc.
  • P16. Poniedziałek, 16.00. Zajętych 18 z 30 dostępnych miejsc.
  • W12. Wtorek, 12.00. Zajętych 15 z 20 dostępnych miejsc.
  • W16. Wtorek, 16.00. Zajętych 12 z 30 dostępnych miejsc.

W tym zadaniu „bardziej zapełniona” oznacza wyższy odsetek zajętych miejsc. Łączny odsetek dla danej godziny oblicz, dzieląc sumę zajętych miejsc przez sumę dostępnych miejsc o tej godzinie. Są to odczyty zajętości, więc suma nie opisuje liczby różnych osób.

Materiał 2. Wspólna odpowiedź modelu. Fragment ćwiczeniowy przygotowany z użyciem AI i utrwalony przez redakcję z dwiema tezami do sprawdzenia.

T1. O 16.00 łączny odsetek zajętych miejsc był wyższy niż o 12.00. O 16.00 zajętych było w sumie 30 miejsc, a o 12.00 tylko 23.

T2. O 16.00 czytelnia była bardziej zapełniona niż o 12.00 w obu dniach.

Karta do skopiowania dla obu ścieżek

Uzupełnij trzy pola. Możesz zapisać odpowiedź w punktach.

T1. Wydaj werdykt i podaj skorygowany wniosek. Pokaż dla obu godzin sumę zajętych i sumę dostępnych miejsc oraz obliczony odsetek.
T2. Wydaj werdykt i podaj skorygowany wniosek. Wskaż dzień, w którym porównanie obala twierdzenie. Zapisz oznaczenia dwóch odczytów i ich odsetki.
Decyzja. Wybierz 12.00 lub 16.00 na środę. Powiedz, co sprawdzisz, wskaż liczbę lub porównanie z notatki, które uzasadnia wybór, i zapisz, czego jeden dodatkowy odczyt nie rozstrzygnie.

Po oddaniu karty rozdziel ścieżki

W obu ścieżkach student sprawdza jeszcze jedną sugestię i sporządza krótką notatkę do omówienia. Oddana karta jest już zamknięta. Notatkę zbierz osobno, bez punktów, i omów ją po zakończeniu ćwiczenia.

Polecenie A do skopiowania — praca bez konta w narzędziu AI

Najpierw samodzielnie wypełnij i oddaj wspólną kartę według instrukcji. Po oddaniu przeczytaj poniższą sugestię. Bez otwierania czatu wybierz z niej jedno twierdzenie lub założenie i sprawdź je w notatce biblioteki. Oddaj dwa krótkie zdania. W pierwszym przytocz sprawdzany fragment. W drugim zapisz, jaki odczyt lub rachunek uzasadnia przyjęcie, zmianę albo odrzucenie sugestii.

Materiał 3. Zapisana sugestia od prowadzącego. Przykładowa odpowiedź modelu do ścieżki A i na wypadek kłopotów w ścieżce B.

Zrób dodatkowy odczyt o 16.00, żeby sprawdzić, czy zajętość o tej porze znowu będzie bliska 60%, tak jak w obu poprzednich dniach.

Polecenie B do skopiowania — praca z narzędziem uczelni

Najpierw samodzielnie wypełnij i oddaj wspólną kartę według instrukcji. Potem otwórz nową rozmowę w czacie wskazanym przez prowadzącego. Wklej poniższe polecenie dla modelu i od razu pod nim tekst materiału 1. Wyślij raz. Wybierz jedno twierdzenie lub założenie z pierwszej odpowiedzi i sprawdź je samodzielnie w notatce biblioteki. Oddaj dwa krótkie zdania. W pierwszym przytocz sprawdzany fragment. W drugim zapisz, jaki odczyt lub rachunek uzasadnia przyjęcie, zmianę albo odrzucenie sugestii. Dopisz nazwę czatu lub informację o przejściu na materiał 3.

Jeśli od rozpoczęcia logowania miną dwie minuty bez sugestii, pojawi się blokada lub odpowiedź nie zawiera propozycji z uzasadnieniem, przejdź do materiału 3. Sześć minut na sprawdzenie sugestii licz od chwili, gdy masz ją przed sobą. Możesz też od razu wybrać ścieżkę A. Do czatu wklej wyłącznie polecenie i fikcyjną notatkę biblioteki.

Polecenie do wklejenia w czacie

Na podstawie notatki biblioteki podanej poniżej zaproponuj jeden dodatkowy odczyt w środę o 12.00 lub 16.00. W maksymalnie dwóch zdaniach podaj godzinę i uzasadnij wybór jednym twierdzeniem o dotychczasowych odczytach. Wskaż, co ma sprawdzić nowy odczyt. Korzystaj wyłącznie z notatki.

Oceń karty tym samym kluczem

Przyznaj po jednym punkcie za każdy spełniony warunek. Każdy warunek oceniaj osobno, od 0 do 1 punktu. W kluczu są równoważne zapisy ułamkowe i procentowe. Przyjmij też poprawne zaokrąglenie, np. 58% zamiast 57,5%.

Pole Warunek za 1 punkt
T1, rachunek Podaje obie pary sum i oba odsetki. O 12.00 jest 23/40, czyli 57,5%, a o 16.00 jest 30/60, czyli 50%.
T1, wniosek Odrzuca T1 i wskazuje, że łączny odsetek jest wyższy o 12.00.
T2, dowód Zestawia wtorkowe 75% o 12.00 z 40% o 16.00. Oba odczyty oznacza symbolami W12 i W16 albo nazwą dnia i godziną.
T2, wniosek Odrzuca T2 i wskazuje, że wyższy odsetek o 16.00 wystąpił tylko w poniedziałek.
Decyzja, uzasadnienie Wybiera jedną godzinę, wskazuje poprawną liczbę lub porównanie odnoszące się do tej godziny i określa, co sprawdzi środowym odczytem o tej samej porze.
Decyzja, ograniczenie Wskazuje konkretne ograniczenie jednego odczytu, np. brak możliwości porównania obu godzin w środę albo ustalenia typowego poziomu zajętości.

Maksymalny wynik to 6 punktów. Samo powtórzenie „30 jest większe niż 23” daje 0 punktów w kryterium rachunku, a poprawny rachunek przy błędnym werdykcie daje punkt tylko za rachunek. Wybór godziny jest otwarty. Notatka po pracy z sugestią, logowanie i deklaracja użycia narzędzia są informacjami organizacyjnymi lub materiałem do rozmowy. Jeśli wykorzystasz kartę w zaliczeniu, ogłoś wcześniej jej wagę i próg według zasad przedmiotu. Brak oddanej karty oznacza brak podstawy do przyznania punktów. Wyznacz dodatkowy termin na samodzielną kartę w tych samych warunkach, z analogicznymi danymi i kluczem, jeżeli pierwotny pakiet został już omówiony.

Dwie przykładowe prace

Ścieżka A, przykład redakcyjny.

  • T1. Fałsz. O 12.00 było (8 + 15)/(20 + 20) = 23/40 = 57,5%, a o 16.00 (18 + 12)/(30 + 30) = 30/60 = 50%. Łączny odsetek był wyższy o 12.00.
  • T2. Fałsz. We wtorek W12 to 15/20 = 75%, a W16 to 12/30 = 40%. Wyższy odsetek o 16.00 wystąpił tylko w poniedziałek.
  • Decyzja. Wybieram 12.00. Przy tej porze łączny odsetek był wyższy, 57,5% wobec 50%. Sprawdzę, czy odczyt z kolejnego dnia o 12.00 będzie bliski 57,5%. Nie porównam na tej podstawie obu godzin w środę.
  • Notatka po oddaniu karty. Sprawdzam „bliska 60%, tak jak w obu poprzednich dniach”. Zmieniam uzasadnienie na porównanie środowego odczytu z zakresem od 40% do 60%, bo P16 to 18/30, a W16 to 12/30.

Ścieżka B, przykład redakcyjny.

  • T1. Fałsz. Dla 12.00 suma zajętych miejsc to 23, a dostępnych 40, czyli 57,5%. Dla 16.00 te liczby to 30 i 60, czyli 50%. Większy udział zajętych miejsc był o 12.00.
  • T2. Fałsz. We wtorek o 12.00 było 75% (W12), a o 16.00 40% (W16). Tylko w poniedziałek odsetek był większy o 16.00.
  • Decyzja. Wybieram 16.00, bo dotychczasowe odczyty o tej porze wyznaczają węższy przedział niż o 12.00, od 40% do 60% wobec 40–75%. Sprawdzę, czy nowy odczyt o 16.00 zmieści się w tym węższym przedziale. Trzy dni obserwacji o tej porze nie wystarczą mi do ustalenia, jakie zapełnienie jest typowe w całym semestrze.

Przykładowa odpowiedź czatu do ścieżki B. „Zaplanuj dodatkowy odczyt o 12.00, ponieważ w poniedziałek zajętość wynosiła wtedy 40%, a we wtorek 75%. Środowy pomiar pozwoli sprawdzić, czy nowy odczyt mieści się między tymi wartościami”.

Notatka po oddaniu karty. Sprawdzam „w poniedziałek zajętość wynosiła wtedy 40%, a we wtorek 75%”. Przyjmuję to uzasadnienie jako podstawę alternatywnego pomiaru, bo P12 to 8/20, a W12 to 15/20. Narzędzie w przykładzie: ChatGPT.

Obie karty otrzymują 6/6. W pierwszej student chce porównać odczyt z łącznym odsetkiem dla godziny o większej obserwowanej zajętości. W drugiej sprawdza, gdzie nowa obserwacja wypadnie względem dwóch wcześniejszych odczytów. Poprawność obu decyzji wynika z tego, co student zamierza sprawdzić i na jakich danych się opiera.

Porównaj warunki i zrób próbę przed użyciem punktów

Co porównać Ścieżka A Ścieżka B
Praca na punkty Ten sam pakiet, samodzielna karta i klucz Ten sam pakiet, samodzielna karta i klucz
Praca po oddaniu karty Otworzenie zapisanego tekstu i sprawdzenie jednej sugestii Logowanie, wysłanie polecenia, oczekiwanie i sprawdzenie jednej sugestii
Zmienność i pomoc Każdy dostaje zdanie z tym samym błędem Model może podać poprawny rachunek, inny błąd lub za długi tekst. W razie braku użytecznej sugestii działa materiał 3.

Gdyby czat był dostępny przed oddaniem karty, mógłby obliczyć odsetki za studenta albo skierować jego uwagę na wtorek. Z kolei logowanie mogłoby skrócić czas na czytanie. Rozdzielenie etapów usuwa te różnice z ocenianej części, jeśli uruchamiasz drugą część w opisanych wyżej warunkach. Złożoność samej notatki nadal może się różnić. Dlatego sprawdzacie tylko jeden fragment i omawiacie go bez punktów.

Przed zajęciami skopiuj pakiet jako tekst z nagłówkami i wyraźnymi etykietami odczytów. Sprawdź, czy można go przeczytać czytnikiem ekranu, a formularz i czat obsłużyć samą klawiaturą, łącznie z wysłaniem i odczytaniem odpowiedzi. Zapewnij uzgodniony format oddania pracy i dodatkowy czas, gdy go potrzeba. Gdy dostęp do platformy jest przeszkodą, wydaj dostępny plik lub wydruk i odbierz kartę w uzgodnionej formie. Ścieżka A działa także offline.

Microsoft wymienia kwalifikujące się licencje Microsoft 365 Education A1, A3 i A5 dla studentów korzystających z Copilot Chat. Jeśli uczelnia dopuszcza to narzędzie, sprawdź z administratorem konkretną licencję i wykonaj próbę na koncie studenckim, na sprzęcie i w sieci używanych na zajęciach. W ChatGPT Free model i limity mogą się zmieniać, a część funkcji ma osobne limity. Sprawdź faktycznie dostępną funkcję tekstową zamiast przyjmować, że każdy ma taki sam dostęp. W tym ćwiczeniu prywatna subskrypcja ani prywatne konto w usłudze AI nie są warunkiem. Gdy uczelnia nie udostępnia sprawdzonego czatu, daj wszystkim materiały ścieżki A.

W jednej grupie przeprowadź próbę bez punktów do zaliczenia. Po oddaniu kart część osób ze sprawdzonym dostępem może przetestować czat, pozostali pracują z zapisem. Przy każdej pracy zapisz punkty za poszczególne kryteria, czas wykonania karty, czas do uzyskania sugestii, czas sprawdzenia sugestii i powód ewentualnego przejścia na materiał 3. Porównaj, ilu osobom w każdej ścieżce udało się wskazać sprawdzalny fragment oraz skończyć notatkę w przewidzianym czasie pracy. Zestaw wyniki kart według kryteriów. Kilka kart oceń ponownie lub daj je drugiej osobie do oceny, bez informacji o ścieżce i pierwszej punktacji.

  • Jeśli choć jedna osoba traci czas na pracę przez logowanie lub niedostępny interfejs, popraw sposób wejścia i powtórz próbę. Do tego czasu zapewnij materiał 3 od razu.
  • Jeśli w którejś ścieżce co najmniej dwie osoby nie kończą notatki w planowanym czasie mimo działającego dostępu, skróć sugestię lub ogranicz zadanie do wskazania jednego odczytu i sprawdź ponownie.
  • Jeśli klucz daje dwie różne oceny tej samej pracy, doprecyzuj warunek i oceń ponownie te odpowiedzi. Gdy wiele osób myli sumę miejsc z odsetkiem, najpierw sprawdź, jak czytają instrukcję o mianowniku.

Wynik małej próby opisuje wykonanie ćwiczenia w danej grupie. Przy wyborze ścieżki przez studentów różnice mogą wynikać między innymi z wcześniejszego doświadczenia. Wynik karty powstaje jeszcze przed kontaktem z dodatkową sugestią, więc nie służy do pomiaru wpływu czatu na uczenie się.

Gdy oceniasz umiejętność pracy z AI

Jeśli efekt przedmiotu obejmuje formułowanie i poprawianie poleceń dla modelu, przygotuj oddzielną próbę. Daj wszystkim ten sam fikcyjny materiał i poproś o własne polecenie, jedną jego poprawkę po przeczytaniu odpowiedzi oraz krótkie uzasadnienie, co zmienili i dlaczego. W osobnym kluczu przyznaj po punkcie za polecenie określające cel, dane i oczekiwany wynik, za poprawkę odpowiadającą na wskazany problem w pierwszej odpowiedzi oraz za ocenę drugiej odpowiedzi na podstawie przytoczonego fragmentu. Punkt za ostatnie kryterium można uzyskać także wtedy, gdy student wykaże, że problem pozostał. Kartę weryfikacji treści oceń osobno. W ścieżce z zapisem da się przećwiczyć rozpoznawanie problemu. Dowodem umiejętności poprawienia własnego polecenia są oba polecenia i odpowiadające im wyniki rozmowy.

Do takiej próby zapewnij każdemu dostęp bez prywatnych opłat, np. przez konto uczelniane i dostępne stanowisko w pracowni. Ustal wspólny model i tryb, jeśli ustawienia na to pozwalają, oraz te same funkcje, dostęp do dwóch tur i czas aktywnej pracy z uwzględnieniem dostosowań. Wcześniej udostępnij krótką próbę obsługi w tym samym środowisku i sprawdź rzeczywisty dostęp, w tym klawiaturę, czytnik ekranu oraz możliwość zapisania tekstu. Różne odpowiedzi modelu oceniaj przez pryzmat decyzji studenta. Jeśli komuś zabraknie dostępnego stanowiska, limitu lub działającej usługi, zapewnij dodatkowy termin z porównywalnymi warunkami. Gdy uczelnia nie może ich zapewnić, potraktuj tę próbę jako ćwiczenie i wróć do oceny pracy z narzędziem po zapewnieniu dostępu.

Źródła