TEHNIČKI DODATAK

U sklopu tehničkog dodatka bit će predstavljene dodatne analize i pojašnjenja izbora analitičkih metoda korištenih u glavnom tekstu. Kalkulacije se oslanjaju na metodologiju prezentiranu u tehničkom dodatku PISA 2018 koji u trenutku pisanja nije finaliziran te su neke od kalkulacija preuzete iz verzije 2015, dok su neke od kalkulacija reproducirane iz državnog izvještaja za BiH . Nove kalkulacije/analize će biti posebno opisane gdje je to potrebno.

Jedan od ključnih pitanja koja se nameću je da li je veličina uzorka pojedinih kantona i regija (tabela x) zadovoljavajuća za adekvatnu procjenu parametara od interesa. U tabeli 2 su prikazane margine greške za procjenu prosjeka po kantonima/regijama i oblastima (veličina uzorka za kantone/regije prikazana u tabeli 1), pri pouzdanosti od 95%. Iako margine greške nisu zanemarljive, smatramo da su prihvatljive. Za standardnu devijaciju populacije pri procjeni margina greške na nivou pojedinačnih oblasti je uzeta standardna devijacija postignuća na nivou BiH.

Sljedeći karakter podataka koji je bitno procijeniti prije pristupanja procjeni razlika između kantona/ regija (stratuma) je procjena odnosa varijansi unutar oblasti. S obzirom na kompleksnu političku sliku koja uslovljava kompleksan sistem višeslojnog uzorkovanja opisanog u PISA metodologiji (spomenuto u uvodu, za više vidjeti ), za očekivati je nejednakosti varijansi proizvedenu mješanjem populacija u pojedinim stratumima, pogotovo kada su u pitanju manji uzorci. U tabeli 3 su prikazane varijanse po kantonima/regijama po oblastima a u tabeli 4 su prikazani rezultati Levene testa jednakosti varijansi (p-vrijednost ispod 0.05 upućuje na nejednake varijanse).

U slučaju čitanja i prirodnih nauka, varijanse po oblastima nisu jednake što je informisalo odabir narednih statističkih testova za analizu varijansi i identifikaciju razlika između stratuma. Konkretno, za analizu varijansi odabrana je Welch’s ANOVA te Games-Howell post-hoc test , zbog otpornosti na razlike u varijansi. Rezultati Welch’s ANOVA testa prikazani su u tabeli 5 dok su parcijalni rezultati (samo statistički značajne usporedbe) Games-Howell testa za razlike u postignućima u oblasti čitanja ilustrativno prikazane u tabeli 6; puni rezultati su dostupni u formi Excel tabela.

Kada je u pitanju simetričnost distribucije postignuća iz svih oblasti po kantonima, odnos prosjeka i medijana je prikazan na grafikonu 1. Većina distribucija su relativno simetrične ali u većini slučajeva, na grafikonima u analizi je obilježena vrijednost medijana umjesto prosjeka kako bi procjena distribucije bila objektivnija i za manje simetrične distribucije.

Ako posmatramo distribucije postignuća na nivou entiteta (RS, FBiH i Distrikt Brčko), u tabeli 7 su prikazani rezultati Levene testa jednakosti varijansi, praćeni rezultatima ANOVA testa i Tukey testa usporedbi između entiteta u tabelama 8 i 9-11 (ANOVA i Tukey test korišteni jer Levene test upućuje na jednake varijanse između entiteta). Sve u svemu, smatramo da prikazani rezultati postavljaju okvir koji dopušta izradu inferencijalnih testova u daljem tekstu i donošenja zaključaka za date stratume. Bez obzira, pri generalizaciji zaključaka treba voditi računa o statističkim odstupanjima proizvedenim uzorkovanjem, odnosno veličinom samog uzorka i šta zapravo uzorak predstavlja.

 

Svi grafikoni gdje su prikazani projicirani trendovi sadrže kvantifikaciju Spearman rank korelacije i R2 metrike Ordinary Least Squares modela zajedno sa p vrijednošću za obe metrike. Spearman korelacija je odabrana kako bi bila prikladna i za kvantificiranje eventualne nelinearnosti u odnosu varijabli. R2 metrika kvantificira koliko varijanse u varijabli na Y osi objašnjava varijabla na X osi grafikona, ili drugim riječima, koliko promjena u varijabli Y ose možemo pripisati njenom odnosu sa X osom.

Bitno je voditi računa o tome što ovakav način razmatranja bilo koje varijable ne oslikava nužno pravu realnost njihovog odnosa zbog potencijalnih skrivenih indirektnih odnosa (engl. confounding) koji u trenutku analize nisu razmatrani. Korelologram svih razmatranih indeksa korištenih u modeliranju uspjeha učenika je uključen kao dodatni fajl (indeksiKorelacijaPuna.png ).

Kalkulacije svih metrika su rađene u skladu sa njihovim opisima u dodacima PISA izvještaja. Sve analize rađene u Python programu, svi neophodni paketi su navedeni u ‘requirements.txt’ fajlu; sav kod je dostupan na upit. Sirovi PISA podaci preuzeti sa PISA web site-a. Ostali korišteni podaci dostupni na upit.

{

}