MEGYERI Krisztina – SZILÁGYI Brigitta

Az online gyakorló tesztek bevezetésének első tapasztalatai a dr. Ámbédkar Iskolában

Bevezetés

A miskolci Dr. Ámbédkar Iskola alap- és középfokú oktatási intézmény. Vonzáskörzetébe azok az észak-magyarországi közösségek tartoznak, ahol az érettségizettek aránya 1% alatt van. A környező falvak cigánytelepein több ezer ember él, közöttük számos halmozottan hátrányos helyzetű kiskorú. Az iskolában nappali és esti oktatás is folyik: gyerekeket és felnőtteket egyaránt tanítanak, mert vallják, ha egy családból többen is tanulnak, nagyobb az esély a sikeres haladásra. Hazánk legszegényebb közösségeiben fáradoznak azért, hogy a középfokú oktatás többek számára elérhető legyen. Feladatuknak tekintik, hogy a mélyszegénységből kivezető utakon indítsák el diákjaikat, ezzel közvetlenül vagy közvetve sokaknak nyújthatnak segítséget. A szegregált környezetben működő iskola sokat tesz a társadalmi integráció megvalósulásáért. Az érettségit adó intézmény szakképzést nyújt azoknak, akik érettségivel együtt akarnak szakmát szerezni. Befogadják az általános iskolából lemorzsolódókat és nemcsak az elemi iskola elvégzését tűzik ki célul számukra, a Dr. Ámbédkar Iskolában a tanulás a társadalmi helyzet megváltoztatását célozza.

A Programme for International Student Assessment (PISA) mérés hazai eredményei

A 2018-as PISA mérés Magyarországra vonatkozó eredményeinek értékelése tartalmazza az alábbi ábrasorozatot [1]. Jól látható, hogy hazánkban a 15 évesek teljesítménye elmarad az OECD országok átlagától és ami még szomorúbb, az a romló teljesítményt mutató trend mind olvasásból (bár ebben volt enyhe javulás, de a 2018-as eredmények már a 2000. évnél rosszabbak), mind matematikából, mind természettudományokból. A nemrég közzétett 2021-es mérés eredményei sem adnak bizakodásra okot, hacsaknem annyiban, hogy a pandémia ellenére csak egy kisebb visszaesés tapasztalható. További szomorú tény, hogy a kollaboratív problémamegoldás modulban is rosszul teljesítenek a magyar diákok.

A helyzet még rosszabb, ha a vidéki kistelepülések adatait vesszük górcső alá. Többéves tapasztalat, hogy az eredmények hazánkban óriási egyenlőtlenségeket mutatnak: a kevésbé tehetősek esély nélkül maradnak a közoktatásban. Nemcsak az európai uniós országok átlagához képest hatalmas a lemaradásuk, hanem még a budapesti vagy más vidéki nagyvárosok eredményeinél is sokkal gyengébbek. Óriási a szakadék: a mélyszegénységben élő gyerekek eredményei sokkalta gyengébbek a nagyobb városokban élő társaikéhoz képest. Ez a különbség Európa többi országához képest is igen jelentős.

1. ábra: A hazai diákok szereplése a PISA teszt különböző egységein az OECD országok átlagával összevetve

Forrás:[1]

Megjegyzés: A piros pöttyök jelölik a hazai diákok szereplését, míg a világoskék görbe az OECD országok átlagával összevetve. A magyarországi trendet folytonos fekete vonal jelzi

A mérésekből tehát kiderül, hogy Magyarországon a társadalmi, gazdasági szempontból előnyös helyzetű tanulók jobban teljesítenek olvasásban, mint a hátrányos helyzetűek. A 2018-as PISA-felmérés során 113 pont volt a különbség. Ez 24 ponttal nagyobb, mint az OECD-országokban a két csoport közötti átlagos különbség. Itt némi javulás mutatkozik a 2009-es eredményekhez képest, amikor a társadalmi-gazdasági státuszhoz kapcsolódó teljesítménykülönbség 118 pont volt Magyarországon és 87 pont az OECD-országok átlagában. Olvasásból Magyarországon a hátrányos helyzetű tanulók 1%-a volt a legjobbak között szemben a nem hátrányos helyzetű tanulók mintegy 14%-ával a 2018-as PISA felmérésen. Ugyanezek az értékek az OECD-országok átlagában 3% és17%. A társadalmi-gazdasági státusz a matematika és a természettudományok terén nyújtott teljesítmény esetén minden a PISA felmérésben résztvevő országban erős előrejelző tényező volt. A szakadék ezen két területen is mélyebb hazánkban a felmérésben részt vevő országok átlagánál. Matematikából Magyarországon a 15-évesek mintegy 74%-a érte el a minimális 2. szintet (az OECD átlag: 76%). Természettudományokból a minimális 2. szintet a 76% érte el, szemben a 78%-os OECD átlaggal. Szomorú tendencia, hogy a gyengén teljesítők (a 2. szintet el nem érők) aránya a 2009-2018 időszakban olvasásból 8, míg 2006-2018 között 9 százalékponttal nőtt matematikából. Bár a Dr. Ámbédkar Iskola programunkban részt vevő diákjai nem vettek részt a PISA mérésekben, az általunk elvégzett mérések alapján bizonyossággal mondható, hogy a gyengén teljesítők népes táborát szaporították volna. Fontos kiindulási alap volt esetünkben, hogy függetlenül attól, hogy a tanulók középiskolások, mindenkinél egyenként megtaláljuk azt a szintet, ahol ő van, ahonnan el tudunk indulni. Ha nem beszélünk közös nyelvet, egy ilyen fejlesztő program kudarcra van ítélve. A személyre szabottság, ha azt hagyományos módon próbáljuk kivitelezni, roppant sok pedagógusi munkát igényel, nagyobb diákcsoport esetén nem is igazán működtethető hatékonyan, ezért a projektben az EduBase online oktatási platformot alkalmaztuk.

Az EduBase online oktatási platform

Mostanra a PISA méréseket és a kétévenkénti kompetenciaméréseket is online teszteléssel végzik hazánkban. Többször felmerült a kérdés, miként befolyásolja az elért eredményt a tesztelési környezet újszerűsége, ront-e az eredményen az, ha a tanuló korábban nem adott még számot ilyen formában a tudásáról. Az előhívásos tanulás fontos eleme a tesztelés, amelynek hatékonyságát tovább növeli, ha a tanuló hamar kap visszajelzést a teljesítményéről. Ha a tesztelést papíron valósítjuk meg, akkor ez nehezebben kivitelezhető, továbbá egy sokkal munka- és időigényesebb folyamat. Ez is indokolja az online oktatási platform használatát amellett, hogy szerettük volna, ha a tanulók megismerkednek a tanulásnak ezzel a számukra újszerű formájával. Választásunk az EduBase oktatási platformra esett, melynek célja, hogy a regisztrált felhasználók számára online elérhető anyagokat és a meghirdetett kurzusok számára felületet biztosítson[2]. A 2013-ban alakult oldal mostanra nagyon sokféle lehetőséget biztosít az oktatásra alap-, közép- és felsőfokon, de jól használható a felnőttképzésben is. Összehasonlítva egyéb online oktatást segítő platformokkal, kifejezett előnye, hogy a speciális igényekkel bíró matematikatanítás könnyen megvalósítható a segítségével. Az online oktatás egyik előnye, hogy időben rendkívül kötetlen, ezért tud alkalmazkodni a felhasználók egyéni időbeosztásához. A tapasztalatok azt mutatják, hogy sokak rendkívül különböző időpontokat részesítenek előnyben, ha matematikatanulásról van szó[3].

A projekt

Hipotézisek, amik teljesen hibásnak bizonyultak

Tekintettel arra, hogy több felmérésből az derül ki, a középiskolások napi sok órát töltenek a telefonhasználattal, azzal a hipotézissel éltünk, hogy ez valamiféle minimális online jártasságot jelent a diákok számára. Természetesnek vettük, hogy felhasználói szinten otthonosan mozognak website-okon, szükség szerint képesek egy adott oldalra regisztrálni. Ez a feltevés teljesen hibásnak bizonyult. A diákok egy részének csak az iskolában van internethozzáférése, és amikor a telefonját használja, az szinte kizárólag a Facebook passzív használatát jelenti. Levelezőrendszert, egyéb programokat egyáltalán nem, vagy alig használnak. Általánosan elmondható tehát, hogy a valódi elektronikus eszközhasználat, nagyon idegen számukra.

Továbbá az online játékokban való minimális jártasságot is adottnak vettük. Ez azért fontos, mert terveink szerint a játékosítás (gamification) fontos elemét képezi a tesztelésnek. A játékosítás tanulás során történő alkalmazásának pozitív hatását több szakirodalom taglalja[4]. Az online játékokban való jártasságra vonatkozó hipotézisünket mind az egyetemisták, mind az általunk megkérdezett középiskolások megerősítették; közöttük ugyanis nem volt olyan, aki ne játszott volna valamilyen játékkal, de általában egyszerre többet is tartottak a telefonjukon. Azt mondhatjuk tehát, hogy az a feltevésünk, hogy egy online közeg, ahol tanulni lehet csak a tanulás terén lesz új az Ámbédkar diákjainak, nem pedig a keretrendszerében. Ez egyébként inkább a teszt folyamatos használatánál játszott volna szerepet és nem volt annyira alapvető jelentőségű, mint az első hipotézisünk, de a korlátlan mennyiségű gyakorlást biztosító feladatbank kidolgozáskor építettünk rá. Kiderült azonban, hogy ebben is tévedtünk. A Dr. Ámbédkar Iskola tanulói alig játszanak a telefonjukon játékokkal. Nem arra számítottunk, hogy oktató játékokat használnak majd, inkább csak arra, szórakoztató applikációkat vesznek igénybe. A valóság azt mutatta, semmilyet. Ezt a kérdést érdemes lenne a jövőben részletesebben megvizsgálni, mert ezen játékok nemléte mögött olyan képességek hiánya is lehet, ami a tanulásukban, tanulással kapcsolatos nehézségeikben is megjelenik.

Első lépésként egy paraméterezett feladatokból álló, az előismeretek áttekintésére, gyakorlására, a hiányosságok pótlására is szolgáló, jól strukturált, a jövőben bővíthető feladatbankot építettünk ki. A paraméterezett feladatok következtében tulajdonképpen egy végtelen sok feladatból álló, a ráépülésekre komoly figyelmet fordító feladattár született. Habár a rendszerben mind a technikai, mind a szakmai feltételek már szeptemberben adottak voltak, a valódi gyakorlás csak novemberben kezdődött el. Érdemes részletesen megvizsgálni a csúszás okait, mert a jövőre nézve tanulságokat rejthet. A site tesztelését középiskolásokkal, kifejezetten nem informatikai beállítottságú tanárokkal kezdtük. Számukra az oldalra való regisztráció semmiféle gondot nem jelentett. Bátran kijelenthető, hogy a regisztráció az egyik legegyszerűbb, legvilágosabb és majdhogynem elronthatatlan kezdőlépés. A fönt említett hipotéziseink hamis volta mutat rá, hogy diákok regisztrációja miért vett hosszú heteket igénybe, de erre csak utólag jöttünk rá. Ugyan az iskola tanárai jelezték, hogy nem lesz egyszerű az elindulás sem, de az okokat nem láttuk kezdetben. Az is a késlekedés forrása volt, hogy a diákok nem, vagy csak lassan kaptak tanári segítséget. 

Az adatok

A nehézkes indulást követően végül 51 diák regisztrált a weboldalra, ami tekintettel arra, hogy kis iskoláról van szó, közel a teljes aktív tanulóközösséget jelenti. Voltak olyan diákok, akik hiányosságaik tudatában több évfolyamba is regisztráltak, azaz az alsóbb évfolyamosok számára kidolgozott teszteket is használni kívánták.

Az 1. táblázat a regisztrált diákok és a kitöltött teszttípusok számát mutatja. Minden teszttípus, mivel paraméterezett feladataink vannak, gyakorlatilag végtelen sok különböző feladatsort jelent. A több évfolyamba regisztrált diák ahhoz az osztályhoz került, amelyikben több feltöltött feladathoz fért hozzá. A 9. és a 10. osztály közt volt jórészt átjárás. Ha egy diák több évfolyamba is regisztrált, őt ebben a táblázatban a saját évfolyamában tüntettük föl. Teszt alatt egy olyan feladatsort értünk, amiben 5 különböző feladat van egy adott témából. (Ez alól egy teszt volt kivétel, amely a szorzótábla gyakorlására hivatott, ebben 10 feladat volt.)

1. táblázat: Az EduBase rendszerben történt regisztrációk és feltöltött tesztek száma

A kitöltött tesztek

A 2. táblázat az évfolyamonként kitöltött tesztek számát mutatja. Látható, hogy diákonként átlagosan hány kitöltés történt. A táblázat utolsó soraiban az egy diákra eső kitöltések számának minimumát és maximumát közöljük.

2. táblázat: A megoldott tesztek száma évfolyamonkénti bontásban és tanulónként

Az alábbi, 3. táblázatban az egyes diákok által megoldott tesztek számát látjuk. A legtöbb tesztet megoldó tanuló teljesítése került az első sorba, a második legtöbbet a következőbe s.í.t. 42 olyan diák van, aki legalább 5 tesztet (egy teszt 5 feladatot tartalmaz) oldott meg. Ez az összlétszámot figyelembe véve jó eredmény, hiszen azt jelenti, a regisztráltak 80%-a legalább 5 feladatsort teljesített. A projekt fő célja az önálló gyakorlás elősegítése volt, és mint az kiderült nulladik lépésként annak megtanítása, hogy ezt miként lehet megtenni. Húsz tanuló volt, aki legalább 20 tesztet gyakorolt. Ők a projekt eredendő célcsoportja, akik már képesek egyedül dolgozni és eléggé motiváltak, hogy rendszeresen gyakoroljanak. Ha ezt az utóbbi csoportot nézzük, akkor köztük az átlagosan megoldott tesztek száma már 56 fölött van, ami messze meghaladja az előzetes várakozásainkat. A tanév 36 tanítási hetéből az első kb. 10 hétben nem volt módjuk a diákoknak tesztelni, ezt követően azonban húszan átlagosan heti 2 tesztet oldottak meg. Ez már jelentősen növelte a matematikára fordított heti tanulási idejüket. A 12 legaktívabb tanuló mindegyike legalább 50 tesztet oldott meg, összesen pedig 908 tesztet töltöttek ki, azaz átlagosan 75-öt.

A diákok körülbelül ötödéről mondhatjuk, hogy bár regisztráltak, nem foglalkoztak érdemben a matematikatanulás ezen módjával.

3. táblázat: A programban részt vevő tanulók által kitöltött tesztek

Felmerül a kérdés, hogy ezeket a teszteket milyen eredménnyel oldották meg, milyen fejlődést mutatnak a diákok. Az ehhez szükséges adatok is rendelkezésre állnak, de a kutatás ezen szakaszában a projektben a gyakorlás és az ehhez szükséges készségek elsajátítása volt a cél, így az adatok nehezen összehasonlíthatóak, további elemzést igényelnek.

A tesztek bemutatása

Minden tesztfeladat megalkotásakor nagy gondot fordítottunk arra, hogy a procedurális készségek fejlesztése, a begyakorlás mellett a valódi megértést is segítsük. Több olyan feladatot alkottunk, amilyenekkel a hazai tankönyvekben, munkafüzetekben nem találkozunk, pedig véleményünk szerint igen jól szolgálják a tényleges megértést. A van Hiele-elmélet eredményeit szem előtt tartva a diákokat gondolkodási szintjeit figyelembe véve kaptak feladatokat. Nagyon sok olyan feladattípus helyet kapott a tanulásban, amelyek a jóval alacsonyabb, általános iskolás tanulók szintjét idézik. Erre szükség volt azonban, mert a közös nyelvet – megfelelő gondolkodási szint – megtalálva tudtuk őket továbbfejleszteni[5].

A szorzótábla

Különös, rendhagyó elemekkel azonban nemcsak a feladatok között találkozunk, hanem a kitöltési mintázatok vizsgálatakor is. Egyik legérdekesebb számunkra a szorzótábla gyakorlása volt, mert ezt majdnem minden felhasználó (46 fő) kitöltötte és úgy használta, ahogy azt terveztük, vagyis mindenki addig gyakorolt, ameddig úgy érezte, hogy már jól megy neki a feladat. A programban azt állítottuk be, hogy legalább 80%-ban hibátlan teljesítéskor a rendszer minősítse sikeresnek a gyakorlást. Többen voltak azonban, akik nem hagyták abba a gyakorlást azután sem, hogy megírták 100%-ra a tesztet, hanem még kitöltötték néhányszor. Mivel a feladatokat parametrizáltuk, ez minden esetben egy teljesen különböző feladatsort jelentett. Úgy gondoljuk, a sikerélmény, a teljesítés öröme volt az, amiért a gyerekek úgy gondolták, érdemes még dolgozniuk. Bizonyosan kevésszer van olyan megtapasztalásuk, hogy egy tesztet majdnem hibátlanul vagy hibátlanul oldjanak meg. Ezek a sikerek tovább is vitték őket és a következő, nehezebb szintre nagyobb önbizalommal léptek.

Ebben a témakörben összesen 194 tesztet töltöttek ki (tesztenként 10 feladattal), ami átlagosan 4 tesztet jelent. Tizenketten voltak azok, akik legalább 5, öten, akik legalább 10, egy diák pedig 31 tesztet töltött ki, ami esetében 310 feladat megoldását jelenti. A kitöltött tesztek számának szórása 4,9. Ha a gyakorlásra szánt időt vizsgáljuk, azt látjuk, hogy átlagosan kb. 7 percet foglalkoztak a feladattal, ami minimum 1 perc és maximum 1,5 óra között szóródik. (Az extra hosszú idejű kitöltések mögött egy megnyitott, majd megszakított teszt állhat, amire a kitöltő később tért vissza.) Felvetődik a kérdés, hogy valójában mi az ideális gyakorlási stratégia, mi az, amit szeretnénk erősíteni, de pontosabb lenne azt mondani, hogy megtanítani. Az a 13 diák, aki csak egy tesztet oldott meg, azt legalább 80%-os eredményességgel tette, sőt közülük kilencen 100%-ot teljesítettek, így nem volt okuk, hogy tovább gyakoroljanak. De látjuk, hogy kilencen voltak, akik annak ellenére, hogy elsőre 100%-ot írtak, tovább gyakoroltak és továbbra is maradt a 100%-os teljesítményük. Huszonnégyen pedig úgy gyakoroltak 2 vagy több tesztet, hogy a leggyengébb eredményük is elérte a 80%-ot.

Sok szó esik a matematikában a megértés szerepéről, annak öröméről, a tartós tudás megszerzése érdekében fontos azonban a begyakorlás is. Hogy valaki a hibátlan teljesítés után miért végzi el még egyszer a feladatot? Azért, mert ezeknek a gyerekeknek hatalmas igényük van a tanulmányaik során ritkán megtapasztalható sikerre. A procedurális készségek elsajátítását követően sem vágytak újabb kihívásra, át akarták élni ismét a hibátlan vagy közel hibátlan teljesítés számukra ritka örömét.

A megoldások számára vonatkozó feladatok

Ahogy fentebb említettük, több olyan feladatot is konstruáltunk, ami ugyan nem nehezebb azoknál, amelyek a tankönyvekben is szerepelnek, de valamiben kicsit mások. Például a feladatsorban a

típusú kérdések is szerepeltek. A változatokban a <, > helyett ≤, ≥ szerepelt, az alaphalmaz nyílt, zárt, félig nyílt, félig zárt intervallum formájában került megadásra, illetve a pozitív helyett negatív egész, vagy csak egész szerepelt. A legtöbb tankönyvben az ilyen típusú egyenlőtlenségeknél a kérdés az: Mely x-ek teszik igazzá az egyenlőtlenséget? Az ilyen típusú feladatoknál jól látható volt, hogy a megszokottól eltérő kérdés megválaszolása már komoly nehézséget okoz.

További tervek

Az igazán fontos és hasznos az lenne, hogy ha a tesztek használatának hozzáadott értékét tudnánk mérni, vagyis, hogy azok, akik többet gyakoroltak, valóban jobban teljesítenek-e, mennyit és milyen gyorsan fejlődnek a programban részt vevő tanulók. Ehhez kell egy bemeneti (szeptemberi) és egy záró (májusi) mérés, amihez a teszteket a pilot projekt eredményei alapján, illetve a 2021 májusában kipróbált van Hiele-féle geometria gondolkodást mérő teszt segítségével készítjük el.

Másik lényeges feladat az adatok, információk strukturálása. Hatalmas mennyiségű adat áll rendelkezésre, ami a jövőben lehetőséget ad arra, hogy az egyes diákok fejlődését nyomon kövessük és egy későbbi fejlesztési fázis után, a program ajánljon feladatokat gyakorlásra.

Felhasznált szakirodalom

·     https://www.oecd.org/pisa/publications/PISA2018_CN_HUN.pdf

·     Brigitta Szilágyi, Szabolcs Berezvai (2020). Innovative Monitoring of Learning Habits and Motivation in undergraduate Mathematics Education, ERCIM NEWS, 35-36.

·     Nah, F.FH., Zeng, Q., Telaprolu, V.R., Ayyappa, A.P., Eschenbrenner, B. (2014). Gamification of Education: A Review of Literature, In: Nah, F.FH. (eds) HCI in Business. HCIB 2014. Lecture Notes in Computer Science, vol 8527. Springer, Cham. https://doi.org/10.1007/978-3-319-07293-7_39

·     Szabolcs Berezvai, Tibor Oláh, Zsófia Pálya, Bence Sipos, Brigitta Szilágyi (2020). A tanulási folyamat időbeli eloszlásának és eredményességének vizsgálata a kalkulustanulásban, Opus et Educatio 7 (4), 1-10.

·     Usiskin, Z. (1982). Van Hiele levels and achievement in secondary school geometry, Final Report of the Cognitive Development and Achievement in Secondary School Geometry Project Department of Education, University of Chicago, US.

[1] https://www.oecd.org/pisa/publications/PISA2018_CN_HUN.pdf

[2] Brigitta Szilágyi, Szabolcs Berezvai (2020): Innovative Monitoring of Learning Habits and Motivation in undergraduate Mathematics Education, ERCIM NEWS, 35-36.

[3] Szabolcs Berezvai, Tibor Oláh, Zsófia Pálya, Bence Sipos, Brigitta Szilágyi (2020): A tanulási folyamat időbeli eloszlásának és eredményességének vizsgálata a kalkulustanulásban, Opus et Educatio 7 (4), 1-10.

[4] Nah, F.FH., Zeng, Q., Telaprolu, V.R., Ayyappa, A.P., Eschenbrenner, B. (2014): Gamification of Education: A Review of Literature, In: Nah, F.FH. (eds) HCI in Business. HCIB 2014. Lecture Notes in Computer Science, vol 8527. Springer, Cham. https://doi.org/10.1007/978-3-319-07293-7_39

[5] Usiskin, Z. (1982): Van Hiele levels and achievement in secondary school geometry, Final Report of the Cognitive Development and Achievement in Secondary School Geometry Project Department of Education, University of Chicago, US.