Читать книгу Gymnasieungdommens politiske dannelse - Peter Allerup - Страница 9

I relation til de internationale sammenligninger i denne undersøgelse er der en række problemer, der stiller sig som særligt vigtige at kommentere. Disse er især vigtige, hvis man læser de internationale resultater som opgørelser over, hvilke lande der klarer sig bedst på forskellige områder, da der i givet fald er en række omstændigheder, som man bør være opmærksom på.

Som sådan er det et tilbagevendende problem, i hvilken forstand de komparative internationale undersøgelser er udtryk for “retfærdige sammenligninger”. I den internationale rapport vedrørende “upper secondary students” tager IEA mange velbegrundede forbehold over for det betimelige i en direkte sammenligning. IEA fremhæver især problemer med forskelle i de deltagende landes aldersgrupper, idet respondenternes gennemsnitsalder varierer temmelig meget. Dertil kommer, at der ikke i alle tilfælde er tale om samme klassetrin. Også forskelle i sammensætningen af de deltagende landes stikprøver spiller en rolle.

Eftersom vi også i de følgende kapitler vil bringe de vigtigste tabeller fra IEAs internationale rapport, forekommer det relevant at præsentere de pågældende problemer lidt mere detaljeret. Som udgangspunkt kan man i øvrigt sige, at problemstillingen er mest relevant i forhold til IEAs kognitive test, hvor der jo testes vedrørende respondenternes faglige niveau. Når man sammenligner fagligt niveau, er det jo klart, at det kan opfattes som “uretfærdigt” at sammenligne elever, der ikke er sammenlignelige vedrørende alder/klassetrin. På en række andre dimensioner af mere holdningspræget art er det mere diskutabelt, hvad eksempelvis “alder” egentlig har af indflydelse. Eftersom der kan konstateres en del statistiske sammenhænge mellem kundskabsniveau og forskellige holdninger, er det dog klart, at der også på andre områder af undersøgelsen kan være problemer med at sammenligne forskellige lande uden at tage højde for forskelle i de enkelte landes stikprøver.

Aldersproblemet

Som allerede antydet er det først og fremmest vigtigt at være opmærksom på forskellene i (gennemsnits)alder mellem forskellige landes stikprøver.

I alle internationale komparative undersøgelser på uddannelsesområdet er det et tilbagevendende problem, at der i forskellige skolesystemer er forskelligt skolestarttidspunkt. Derfor ender det altid med at være et stridspunkt, om man skal sammenligne elever, der er lige gamle, men går på forskellige klassetrin, eller om man skal sammenligne elever på samme klassetrin, men som ikke er lige gamle. Spørgsmålet er altså, om man skal sammenligne efter biologisk alder eller efter skolealder. Ud fra en tankegang om retfærdighed kan der argumenteres for begge synspunkter. Man kan interessere sig for, hvad elever af en bestemt alder ved og kan, eller man kan interessere sig for, hvad de ved og kan på et bestemt sted i deres uddannelsesforløb. Det fremhæves ofte som et problem, at børn i mange lande starter skole lidt tidligere end i Danmark. Sammenligner man efter alder, vil børn i andre lande ofte have et års skolegang mere end danske børn med samme alder.

Problematikken giver altid anledning til kritiske bemærkninger, når fortalere for det ene synspunkt kritiserer modparten for at drage forhastede slutninger.

Om alder i den danske stikprøve

Som det fremgår af de internationale tabeller for skalascores (jf. tidligere), er den danske stikprøve den ældste (i gennemsnit), selv om der er blevet testet på samme klassetrin i Danmark som i hovedparten af de andre lande. Danmarks gennemsnit er 19,4 år mod det internationale gennemsnit på 17,9 år. Tager man de andre lande, der har testet på klassetrin 12, er gennemsnittet dog lidt højere, nemlig 18,2 år. Tager man højde for den relativt sene skolestart i Danmark og de særlige forhold omkring et antal voksne elever på dansk hf, er der ikke tale om en uventet forskel. Når Danmark får et ret højt aldersgennemsnit, skyldes det formodentlig også, at nogle elever vil have taget 10. klasse. Der kan naturligvis også tænkes andre grunde. I betragtning af, at Danmark i undersøgelsen af 9.-klasserne (der blev testet på samme tidspunkt på kalenderåret) havde et aldersgennemsnit på 15,8 år, er 19,4 år i gennemsnit under alle omstændigheder et nogenlunde forventeligt resultat. Selv om der gives fornuftige forklaringer på aldersgennemsnittet, skal man naturligvis medtænke den eventuelle betydning af de danske elevers relativt høje alder i sammenligninger med andre lande. Umiddelbart forekommer det dog mindst lige så vigtigt at være opmærksom på, om der testes på 12. klassetrin (8 lande) eller 11. klassetrin (5 lande). Kun Letland har testet 10. klassetrin, hvilket naturligvis betyder meget for Letlands resultater.

Alder og skoletype i Danmark

Ser man alene på de danske elever i alment gymnasium, er deres gennemsnitsalder 18,7 år, hvilket faktisk er lavere end Sveriges samlede gennemsnit på 18,9 år og ikke voldsomt meget over det norske gennemsnit på 18,1 år. Præcis det samme kan siges om htx, der også har et aldersgennemsnit på 18,7 år. Hf-eleverne har klart det højeste gennemsnit med 19,5 år. Når det gælder det almene gymnasium og htx alene, ligner det danske aldersgennemsnit således i høj grad det samlede internationale gennemsnit og er meget tæt på det internationale gennemsnit for de øvrige lande, der tester på klassetrin 12, idet disse øvrige lande har et gennemsnit på 18,2 år. På disse to skoletyper har vi således rent faktisk ramt den gruppe af 18-årige, der i udgangspunktet var et internationalt omdrejningspunkt, selv om det ikke var noget egentligt krav (jf. tidligere om de internationale regler for stikprøveudtagelse og definition).

Skole	Aldersgennemsnit
Alment gymnasium	18,7
Hf	19,5
Hhx	19,2
Htx	18,7

Det skal hertil bemærkes, at IEA har valgt kun at udregne helt præcis alder for elever på maks. 24 år. Det er der som sådan ikke blevet givet nogen forklaring på, men formodentlig har man antaget, at der ikke ville kunne forekomme ældre elever, af hvilken grund man ikke har taget højde for at skulle beregne det. I det danske datamateriale er der således 37 elever, som er 25 år eller ældre. Langt de fleste af disse går på hf, men også hhx har en andel af disse ældre elever, hvoraf en enkelt er næsten 50 år. Især på hf er aldersgennemsnittet således reelt en smule højere, end det fremgår af tabellen ovenfor.

Om at korrigere for alder internationalt

I de internationale sammenligninger er man naturligvis ikke opmærksom på denne type detaljerede oplysninger om alder, men interesserer sig udelukkende for de enkelte landes gennemsnit.

I en del tilfælde er eleverne i de andre lande således gennemsnitligt 1 til 2 år yngre end de danske. Også i de lande, der tester på samme klassetrin, er gennemsnitsalderen som sagt noget lavere end i Danmark. I IEAs rapport gøres der meget ud af at påpege de deraf følgende vanskeligheder med direkte sammenligninger mellem lande. IEA forsøger også at “korrigere” for betydningen af aldersgennemsnittet ved at se på de enkelte landes aldersgennemsnit i forhold til de enkelte landes gennemsnitsscores på skalaen for kundskaber og færdigheder. Resultatet ser således ud (Amadeo et al. 2002):

Ud fra en sådan figur (der viser sammenhængen mellem alder og score på landeniveau) kan man derefter blandt andet konkludere, at Danmark stort set ligger, hvor Danmark “bør” ligge, hvis man tager populationens gennemsnitsalder i betragtning. Ved at påvise at andre lande også ligger, hvor de “bør” ligge, hvis man tager alderen i betragtning, kan det således tilsyneladende sandsynliggøres, at en række lande kan siges at være relativt mere ens, end deres forskelle i testresultat antyder i sig selv. Man kan sige, at man “korrigerer” testresultatet for alder for dermed at få en retfærdigere sammenligning. Afstanden til stregen indikerer resultatets karakter. Lande, der ligger klart over stregen, klarer sig bedst i forhold til det “forventede” for aldersgruppen.

Selv om en sådan alderskorrigeret sammenligning umiddelbart forekommer ret plausibel, er det imidlertid også en noget forsimplet måde at analysere på. I det følgende har vi forsøgt at se lidt nærmere på fænomenet alder i det internationale datasæt. I stedet for at opgøre det efter landenes gennemsnit har vi set på samtlige enkeltrespondenter. For den samlede internationale population kan man således opgøre følgende gennemsnitsscores for forskellige aldersgrupper opgjort efter respondenternes alder i antal hele år. Der er igen tale om resultatet for kombinationsskalaen for kundskaber og færdigheder.

Alder	N	Gennemsnitsscore
16	7945	117,5
17	17518	117,5
18	11150	117,8
19	3499	118,7
20	830	118,1
21	211	117,4
22	69	119,5

Selv om tabellen umiddelbart synes at bekræfte, at der er en vis sammenhæng mellem stigende alder og stigende score, viser den også, at det tilsyneladende ikke er helt entydigt og under alle omstændigheder meget beskedent. De 16-, 17- og 18-årige er stort set lige dygtige. De 19-årige er lidt dygtigere end de 20-årige, og de (få) 21-årige klarer sig dårligst af alle (selv de 17-årige har et højere gennemsnit). De (meget få ) 22-årige er dog de dygtigste, men der er ikke nogen meget klar sammenhæng mellem alder og testresultat. På individniveau er der med andre ord stort set ingen sammenhæng. Forskellen mellem 117 og 118 svarer stort set til en forskel i rigtighedsprocent på 1%. Med andre ord får man en meget klar indikation af, at forskellene mellem lande netop ikke entydigt kan forklares med alder!

På sin vis er disse resultater ganske interessante, eftersom der i udgangspunktet kan være meget gode grunde til at antage, at elevernes dygtighed ville være meget afhængig af alder. På undersøgelsens område kan der jo siges at være tale om former for kundskaber og færdigheder, der også erhverves mange andre steder end i skolen. Det er derfor rimeligt at have som formodning, at forskellige aldersgruppers resultater kan tilskrives en generel modenhedseffekt og eksempelvis ses som en effekt af, at man med begyndende voksenalder (og dertil knyttede rettigheder og pligter af samfundsmæssig art) typisk vil have en stigende interesse for politik og større viden om politik. Eksempelvis kunne en sådan effekt opstå i forbindelse med erhvervelse af stemmeret. Argumenter og antagelser af den type forekommer således ofte i IEAs rapport som bud på forklaringer af (den påståede) sammenhæng mellem alder og score.

Om at korrigere for alder i Danmark

Ser man lidt nærmere på sammenhængen mellem alder og testscore (samlet skala for kundskaber og færdigheder), er der i Danmark rent faktisk tale om sammenhæng, men det er vel at mærke en negativ sammenhæng. Her illustrerer vi det blot med en simpel tabel med gennemsnitsresultatet for forskellige alderstrin.

Alder	N	Gennemsnit
17	57	128,1
18	808	136,6
19	1226	133,2
20	419	130,5
21	88	125,9

Som det fremgår, er de absolut dygtigste danske elever rent faktisk de 18-årige, hvorefter den gennemsnitlige dygtighed falder med stigende alder! Det hænger sammen med, at hovedparten af de 18-årige går i det almene gymnasium, og eleverne derfra har gennemsnitligt de bedste resultater på kundskabs- og færdighedstesten. Dette understreger igen den enkle pointe, at man ikke kan konkludere, at man alene i kraft af alder bliver dygtigere, men at det afhænger af mange andre ting (herunder type af skolegang).

Alder, skoletype og kundskabsniveau i Danmark

Hvis man deler den danske population op efter skoletype, er sammenhængen mellem alder og score imidlertid heller ikke positiv inden for de enkelte skoletyper, hvad der jo er endnu mere interessant.

Nedenfor illustreres forholdet mellem alder og kundskabsniveau opdelt på de forskellige danske skoletyper i undersøgelsen. Der er i dette tilfælde tale om en skala for det samlede resultat af kundskaber, færdigheder samt kundskaber og færdigheder om økonomi. Altså for den samlede test. Denne skala benyttes som omtalt ikke internationalt, men er her anvendt til sammenligning af skoletyperne for at få den samlede faglige test med i billedet. Der er tale om vægtede procenttal.

Det er interessant at se, at 18-årige gymnasieelever opnår hele 140,5 i skalascore, og dermed klarer sig bedre end de ældre gymnasieelever. De opnår den absolut højeste gennemsnitsscore, og det er både i dansk og i international sammenhæng et meget flot resultat. Det hænger (formodentlig) sammen med, at man her har fat i den gruppe elever, som har bevæget sig direkte fra 9. kl. til det almene gymnasium og således er kommet i 3.g på mest direkte vis.

Gymnasieeleverne bliver helt entydigt mindre og mindre dygtige, jo ældre de er. For de øvrige skoletypers vedkommende, ses der heller ikke nogen positiv sammenhæng mellem alder og score, men dog heller ikke entydigt en negativ sammenhæng. I hhx er de 18-årige dog de dygtigste. Kun på hf er de ældste respondenter med lille margin de dygtigste, men i øvrigt er der på hf ingen egentlig forskel på 18-, 19- eller 20-åriges resultater. Med andre ord findes den påståede sammenhæng mellem alder og kundskabsniveau slet ikke i Danmark. Hverken i stikprøven som helhed eller i delstikprøverne efter skoletype.

Når de ældste elever klarer sig relativt dårligt, hænger det formodentlig sammen med, at mange af de lidt ældre elever af en eller anden grund har været længere undervejs for at komme til det givne niveau i uddannelsessystemet. Det kan med andre ord formodes, at der ofte vil være tale om relativt mindre fagligt stærke elever, således som tallene jo illustrerer. Forestillingen om, at kundskabsniveau per definition følger alder kan med andre ord dokumenteres slet ikke at være rigtig i Danmark. Dette har ganske stor betydning for forståelsen af resultaterne og for alders betydning for internationale sammenligninger. Det sidste skal illustreres konkret i det følgende med et par eksempler.

Om at korrigere for alder – et norsk eksempel

I den norske rapport (Mikkelsen et al. 2002, s. 83f) har man også forsøgt sig med en aldersrelateret fremskrivning af testresultatet. Man har i den forbindelse især interesseret sig for den delmængde af de norske elever, der går i et skolesystem, som er sammenligneligt med den danske gymnasieskole (såkaldt “allmenfag” i Norge). Dette for at se, på hvilket niveau disse elever (i henhold til logikken bag IEAs alderskorrigerede scores) ville have placeret sig, hvis de havde været et år ældre. Da de norske respondenter er yngre end de danske og svenske, forsøger man med andre ord at tilvejebringe en “alderskorrigeret” sammenligning med Danmark og Sverige. Resultatet af denne øvelse bliver, at de norske elever (aldersgennemsnit 18,1 år) “fremskrevet til 19-årige” angiveligt er lidt bedre end de danske og svenske respondenter. Selv om intentionen bag denne analyse er fornuftig nok, bliver konklusionen alligevel meningsløs, eftersom der som påvist ikke er nogen simpel sammenhæng mellem alder og resultat i Danmark. I den norske rapport konstateres det således, at norske elever, der som 18-årige i gennemsnit scorer 130, må formodes i 19-årsalderen at nå en score på 136, mens danske elever, der jo i gennemsnit allerede er 19,4 år, kun scorer 132. Med andre ord er norske elever måske ligefrem lidt dygtigere end danske. Dette er ud fra præmisserne rigtigt, men det overses, at stikprøven af danske 18-årige scorer 136,56 i gennemsnit! De danske 18-årige er med andre ord lige så dygtige, som de norske “fremskrevet” til 19-årige. Skulle Danmark lave en tilsvarende fremskrivning af den danske delpopulationen af 18-årige, skulle man med andre ord tro, at danske 19-årige ville score ca. 142, men stikprøvens 19-årige scorer som sagt “kun” 133. Som sådan er der i øvrigt ingen grund til at gå ind i en polemik om, hvorvidt danske eller norske elever er dygtigst. Pointen er blot at vise, at en sådan aldersfremskrivning er meget problematisk. Det er en indikation af, hvor vanskeligt det er at foretage “retfærdige” sammenligninger med den slags korrektioner af data.

Om alder internationalt – et IEA eksempel

Hvis man ser på aldersfordelingen i den samlede internationale stikprøve, viser det sig, at der rent faktisk ikke er ret mange “gamle” elever med i flere landes stikprøver. Sagt med andre ord er Danmark markant overrepræsenteret af “gamle” respondenter. Danmark har således over 50% af de 23-årige, over 40% af de 22-årige, ca. 35% af de 21-årige og næsten 50% af de 20-årige respondenter i det internationale datasæt. Med andre ord er det problematisk at drage den konklusion, at ældste elever i alle lande “må forventes” at kunne opnå en bestemt (høj) score, idet den estimerede score for disse ældste elever i meget høj grad vil være baseret på danske tal. Disse fordelinger fremgår af de nedenstående tabeller. Hovedparten af de øvrige ældste respondenter kommer fra lande som Schweiz, Portugal og Norge og er således under alle omstændigheder også et “vesteuropæisk” fænomen.

Alder i antal år. Samlede internationale aldersfordeling inklusive Danmark

	Antal	Procent
14	6	0,0%
15	841	1,9%
16	7686	17,5%
17	17326	39,6%
18	11378	26,0%
19	3688	8,4%
20	882	2,0%
21	228	0,5%
22	72	0,2%
23	39	0,1%
24	3	0,0%
Total	42149	96,2%
Uoplyste	1657	3,8%
	43806	100%

Alder i år. Danmarks fordeling

	Antal	Procent
16	4	0,1%
17	57	2,1%
18	808	29,3%
19	1226	44,4%
20	419	15,2%
21	88	3,2%
22	31	1,1%
23	23	0,8%
24	1	0,0%
Total	2657	96,2%
Uoplyste	104	3,8%
	2761	100%

Selv om den danske aldersfordeling tydeligvis er endog meget skæv i forhold til det internationale gennemsnit, kan man hæfte sig ved, at Danmark har en større procentandel 18-årige (nemlig 30,4%) end det internationale datasæt (der oven i købet i denne beregning er inklusive Danmark) som helhed (27,0%). Til gengæld har Danmark en langt mindre andel 17-årige og en langt større andel 19-årige i forhold til den internationale database som helhed.

Klassetrin og testresultat

Sammenligner man de forskellige landes resultater, forekommer det i øvrigt umiddelbart mere indlysende i det internationale datasæt som helhed at påpege en sammenhæng mellem klassetrin og kundskabsniveau end mellem alder og kundskabsniveau. Generelt klarer de lande sig bedst, der tester de ældste klassetrin. Det er således umiddelbart mere nærliggende (eller i det mindste lige så nærliggende) at korrigere for klassetrin som for alder, hvis man vil gøre sammenligningerne mere “retfærdige”.

I tabellen nedenfor ses der på, hvorledes elever af forskellig alder klarer sig på forskellige klassetrin på testen i den samlede internationale database. De danske elever er holdt som særskilt gruppe og optræder her som klassetrin “DK”. Igen er der tale om resultatet for den del af testen, der vedrører kundskaber og færdigheder (sammenligningen er foretaget med uvægtede tal).

Resultaterne i denne tabel skal for nogle gruppers vedkommende tages med et vist forbehold, da der i nogle tilfælde er tale om et begrænset antal respondenter. 10. klassetrin er kun relevant for Letland og er derfor ladt helt ude af sammenligningen. Som det fremgår, er de absolut dygtigste (internationalt) de 18-årige elever, der går på 12. klassetrin. Det er ligeledes interessant, at de 17-årige (internationalt) samlet set kan siges at klare sig bedst, da de ligger helt i top uanset om de befinder sig på 11. eller 12. klassetrin. For de 18- og 19-årige er det imidlertid meget tydeligt, at deres resultat afhænger meget af deres klassetrin. Umiddelbart er det således vanskeligt at se den påståede sammenhæng mellem alder og testscore, men derimod ret tydeligt at se en sammenhæng mellem klassetrin og testscore. De absolut dygtigste er de danske 18-årige.

11. klassetrin

På 11. klassetrin er de klart dygtigste de 17-årige, mens de 18-, 19-, 20- og 21-årige på 11. klassetrin er næsten lige dygtige (dog med en meget lille konstant stigning).

12. klassetrin

På 12. klassetrin er de 18-årige bedst tæt efterfulgt af 19-årige og 17-årige, mens de 20- og 21-årige er klart dårligst.

Disse fordelinger hænger for en umiddelbar betragtning mildest talt ikke sammen på entydig vis. Hvis man imidlertid (som antydet tidligere) ser på alder i forhold til forventet placering i skolesystemet, giver resultaterne imidlertid i betydeligt højere grad alligevel mening. Antager man, at en 18- årig “bør” gå på trin 12, passer det med, at 18-årige på klassetrin 12 klarer sig bedst. Ligeledes klarer de 17-årige sig klart bedst på klassetrin 11 (faktisk meget bedre end 18-årige og 19-årige på samme klassetrin). Disse resultater understreger således blot pointen, at hverken alder i sig selv eller klassetrin i sig selv er af afgørende betydning, men at der også må ses på samspillet mellem de to.

Sammenfatning

Når andre lande finder det “uretfærdigt” at blive sammenlignet med eksempelvis danske elever, der er “for gamle”, er det naturligvis umiddelbart en berettiget indvending, men hvis man tog den helt bogstaveligt og konkluderede, at man kun skulle inkludere danske elever på 18 år eller derunder i de internationale sammenligninger, ville man få følgende danske totalskalascores for grupperne af elever under og over 19 år:

Kundskaber og færdigheder

Populationen – aldersopdelt	N	Gennemsnit
18 år eller yngre	890	135,1
19 år eller ældre	1764	131,3

Hvis man kun medtog de 890 danske elever under 18 år, ville en sådan revideret sammenligning ud fra en ren aldersbetragtning umiddelbart blive betragtet som værende mere retfærdig end den nuværende med alle aldersgrupper inkluderet, men ville altså stille Danmark i et endnu bedre lys, end tilfældet allerede er. Dette kan vel umiddelbart fremstå som et argument for, at det er mere retfærdigt at sammenligne ud fra klassetrin for dermed at sammenligne, hvad elever et givent sted i skolesystemet kan, end at gøre det efter alder.

Konklusionen på disse overvejelser er imidlertid, at det hverken er retfærdigt at sammenligne efter alder alene eller efter klassetrin alene. Elever på samme klassetrin, der har forskellig alder, vil nemlig have haft forskellige skoleforløb. Hvis man vil have den mest “retfærdige” sammenhæng forstået som en sammenligning af samme slags elever, må man ikke blot medtænke alder og klassetrin, men også relationen mellem alder og klassetrin (og dermed skoleforløbet eller “skolealder”). I det mindste når man når op i ungdomsuddannelserne, vil en markant forskel i alder på samme klassetrin nemlig ofte afspejle forskelle i skoleforløb, der typisk er et indirekte udsagn om forskelle i dygtighed eller andre omstændigheder. Som antydet er det reelt ikke så underligt, at de yngste på et givent klassetrin på ungdomsuddannelsesniveau er de dygtigste, da det kan konkluderes, at disse elever har været i stand til at nå det givne trin på kortest mulig tid (normeret tid). Derfor er det ikke nødvendigvis en ulempe (og dermed en uretfærdig sammenligning), hvis et land har en tilsyneladende “ung” stikprøve på et givent trin i ungdomsuddannelserne. Det kan jo også afspejle, at de givne elever har været i stand til at holde uddannelsessystemets tidsplan.

Konklusionen er dog også, at IEAs forsøg på at korrigere for alderseffekten er meget lidt overbevisende. På individniveau er der internationalt kun en ganske svag sammenhæng mellem alder og testresultat. I Danmark er sammenhængen ligefrem negativ. Sammenhængen mellem alder og testresultat er langt større, når der måles på landeniveau, hvilket er en klar indikation af, at der rent faktisk er forskelle på lande, som netop ikke lader sig forklare alene ved at henvise til deres forskellige aldersgennemsnit.

Meget tyder altså på, at IEA i sin vilje til at rapportere retfærdige sammenligninger har været alt for indstillet på at skulle korrigere for den tilsyneladende indlysende uretfærdighed, at forskellige lande har en forskel i stikprøvens (biologiske) alder. Selv om det naturligvis i sig selv er vigtigt at få påvist, at denne sammenhæng rent faktisk næsten ikke er til stede, lige så vigtigt er det på sin vis at problematisere hele “retfærdighedsdiskussionen”. Den forudsætter jo, at man som mål har at finde ud af, hvem der er dygtigst, bedst etc. Imidlertid er resultaterne i undersøgelsen sammenlignelige på mange andre interessante måder, hvis blot man undlader at læse resultaterne som en “kamp” mellem lande. Vel vidende at der kan være mange gode grunde til, at nogle populationer er dygtigere end andre, er det jo interessant for undersøgelsen som helhed at kunne sammenholde elevernes politiske dannelse på en række andre områder med elevernes dygtighedsniveau. Frem for at forsøge sig med nogle kunstige og under alle omstændigheder umulige forsøg på at korrigere skalascores for alder eller klassetrin er det således langt mere nærliggende og frugtbart at tage mere afslappet på den retfærdige sammenligning og i stedet blot se på undersøgelsen som en sammenligning af forskellige ungdomsgrupper fra forskellige lande, der trods alt er på næsten samme sted i livet. Det bliver undersøgelsen ikke ringere af, tværtimod.

Dækningsgradsproblemet

En anden vanskelighed for den internationale sammenlignelighed er populationernes forskellige sammensætning. Problemet vedrører altså definitionen af undersøgelsespopulationen i de respektive lande. IEAs regler for indsamling af stikprøve er i udgangspunktet meget entydige, men når de konkret skal anvendes i forskellige lande med forskellige uddannelsessystemer (forskellige skoletyper, uddannelsesforløb etc.), er det alligevel ikke muligt at opnå målet: At populationerne bliver sammensat helt identisk på tværs af lande. Til dette “tekniske” problem kan så tilføjes, at forskellige lande har haft lidt forskellige intentioner med undersøgelserne. Sådanne mindre forskelle betød, at man i sidste ende enedes om den generelle målsætning, at undersøgelsen skulle foretages på det klassetrin tættest på afslutningen af ungdomsuddannelsesforløbet (upper secondary education), som det enkelte land havde primær forskningsinteresse i (se Amadeo et al. 2002, s. 61). Der var også en vis enighed om, at man meget gerne måtte stræbe efter de 18- årige.

I IEAs rapport diskuteres problemet om undersøgelsernes forskellighed ud fra begrebet “coverage” (dækningsgrad). Grundskoleundersøgelsen omfattede i alle lande stort set alle skolesøgende børn af den givne alder (med undtagelse af specialskoler for børn med særlige handikap og lignende). Selv om der naturligvis kan være lidt forskel på, hvor store andele børn der går på sådanne særlige skoler i forskellige lande, er det i praksis uden større betydning for undersøgelsen. Der var med andre ord tale om relativt ensartede stikprøver, der i alle tilfælde kunne siges at være repræsentative for populationen af aldersgruppen.

Noget tilsvarende gælder imidlertid ikke på samme enkle vis for en undersøgelse på ungdomsuddannelsesniveau, hvor der i forskellige lande dels er forskel på, hvor store andele af en årgang der fortsat er skolesøgende, dels er store forskelle på den skolestruktur, som disse skolesøgende er indplaceret i. Derfor opstår der ret store forskelle på, hvor stor en del af kohorten (en ungdomsårgang) der indgår i den konkrete population, hvoraf man udtager stikprøven. Det er i udgangspunktet vigtigt at præcisere, at det aldrig har været undersøgelsens intention at undersøge så stor en del af kohorten som muligt. I givet fald skulle man jo have benyttet en helt anden metode at udtage stikprøver på. Ikke desto mindre giver det nogle problemer, hvis man i sammenligninger mellem lande antager, at de enkelte landes resultater er direkte sammenlignelige som landsresultater. Det er de ikke, fordi der rent faktisk er ret stor forskel på, hvor bredt undersøgelserne dækker de forskellige landes ungdomsgrupper.

I IEAs rapport har man valgt at tydeliggøre forskellene mellem de deltagende landes stikprøver ved at angive, hvilken procentdel landenes populationer udgør af landenes kohorter. Dette kaldes undersøgelsens “coverage” (dækningsgrad). For at få beregnet sammenlignelige værdier i alle lande har IEA taget udgangspunkt i det totale antal 15-19-årige i hvert land og divideret dette med 5 for at få et (tilnærmet) antal personer for en gennemsnitsårgang. Derefter kan det let regnes ud, hvor stor en andel af denne gennemsnitlige årgangsstørrelse hvert lands samlede undersøgelsespopulation udgør. Denne beregningsmetode anvendes for at få en sammenlignelig beregning for alle lande, (men er i øvrigt ikke nødvendigvis helt nøjagtig). Den konkrete dækningsgrad fremgår af IEAs tabeller for de forskellige skalascores (jf. tidligere).

Dækningsgradsindekset påvirkes af forskellige faktorer. Eksempelvis af, hvilken andel af ungdommen der får en uddannelse efter grundskoleniveau, men også af, hvor mange af disse der i øvrigt falder inden for reglerne for udtagelse af stikprøve (jf. tidligere). I tabellerne angives under alle omstændigheder under overskriften “coverage” den procentdel af den samlede kohorte (årgang), der er blevet udtaget stikprøver fra i de forskellige lande. Man får altså et indtryk af, hvor bredt undersøgelsen dækker et lands ungdom. Per definition har unge uden for uddannelsessystemet (skolesystemet) været udelukket på forhånd. Det er således ikke nødvendigvis en entydig kvalitet ved et lands undersøgelse, at den dækker bredt, men naturligvis heller ikke nødvendigvis et udtryk for mangel på kvalitet. Som sådan er et højt tal hverken bedre eller dårligere end et lavt, men store forskelle i dækningsgrad er en indikation af, at der er tale om ret forskelligartede undersøgelser.

Desuden skal man være opmærksom på, at to lande med lige stor dækningsgrad ikke nødvendigvis er bedre (mere “retfærdigt”) sammenlignelige end to lande med forskellig dækningsgrad. Den samme dækningsgrad behøver jo ikke at dække over samme typer af skoler i forskellige lande. Man kan jo ikke konkludere, at eksempelvis en IEA-“coverage” på 60 indebærer, at et land dermed har præcis 60% dygtigste af årgangen i populationen. Der vil naturligvis være en tendens til, at en mindre dækningsgrad er ensbetydende med en mere selektiv udvælgelse, altså at eksempelvis kun bestemte skoletyper omfattes. Det vil givetvis også ofte være sådan, at de mere erhvervsrettede og håndværksmæssige uddannelser omfattes i mindre grad, jo mindre dækningsgraden er. Man skal således være opmærksom på, at ingen af undersøgelserne overhovedet kan påstås at være helt repræsentative for kohorten (hvad det norske tal på 99 synes at antyde), da unge uden for uddannelsessystemet per definition ikke er inkluderet i målgruppen. Det kan dog ikke entydigt konkluderes, at en relativt lav dækningsgrad altid er udtryk for den samme form for skævhed, der i sammenligninger mellem lande eventuelt entydigt vil kunne udlægges som “en uretfærdig fordel” for lande med relativt lave dækningsgrader. Sagt på anden vis så kan en dækningsgrad på 65 jo godt i et tilfælde være repræsentativ for populationen, mens den i et andet måske ikke er det.

Den danske undersøgelse dækker en relativt lille andel af kohorten sammenlignet med gennemsnittet for de andre lande, men til gengæld er der tale om en særdeles veldefineret stikprøve af en særdeles veldefineret population. Som angivet i IEAs tabeller (jf. disse) er den danske dækningsgrad 55. Med andre ord omfatter gymnasieungdommen i Danmark (ifølge IEA) ca. 55% af kohorten. Det er i øvrigt et tal, der ligger forholdsvis tæt på officielle danske statistikker, men dog klart i underkanten af de konkrete beregninger, som eksempelvis Undervisningsministeriet har offentliggjort for gymnasieområdet (Se eventuelt: Det gymnasiale uddannelsesområde på kryds og tværs (www.uvm.dk)). Som allerede nævnt er beregningen her 64% for 1996/1997. Det tal kan naturligvis variere lidt fra år til år, men det er under alle omstændigheder vigtigt at være opmærksom på, at den danske dækningsgrad i realiteten er noget højere, end IEAs beregning viser. Ligeledes er det vigtigt at være opmærksom på, at den danske stikprøve er meget veldefineret og per definition ikke repræsentativ for kohorten.

Norge og Sverige har væsentligt større dækningsgrad end eksempelvis Danmark. Det hænger sammen med, at en anderledes struktur på ungdoms uddannelserne har muliggjort stikprøver udtaget blandt unge på skoler, der repræsenterer en større samlet andel af kohorten. I Sverige er de mere erhvervsrettede ungdomsuddannelser således en del af samme system som gymnasieskolen, og noget tilsvarende gør sig gældende i Norge på det klassetrin, hvor Norge har udtaget stikprøven. Den norske procent på 99% er dog ikke helt rigtig, men et resultat af IEAs beregningsmetode. Ifølge oplysninger fra Norges Statistik er tallet snarere ca. 93%. Som sådan er der generelt god grund til at læse IEAs tal for “coverage” med visse forbehold for præcisionen. Under alle omstændigheder er der dog ingen tvivl om, at der både i Norge og Sverige er en væsentligt større del af kohorten med i populationen. Derfor må man forvente en større spredning i resultaterne, da der altså er en større spredning af inkluderede uddannelsesretninger og derfor også en bredere social rekruttering i populationerne. Både i Norge og Sverige har det med andre ord været muligt (i kraft af en anden struktur for uddannelserne) at udtage stikprøver af en større andel unge (af kohorten) tilfældigt og teste dem efter forskrifterne i deres skoleklassesammenhæng. Dette er naturligvis en fordel, hvis man ønsker at udtale sig om den samlede gruppe af unge, hvilket dog aldrig har været et mål i sig selv for undersøgelsen.

Da undersøgelsens udgangspunkt tværtimod på intet tidspunkt har været tænkt som alment sociologisk og knyttet til kohorten, men derimod som specifikt knyttet til bestemte klasser og skoletyper, har den danske undersøgelse omvendt en klar fordel ved at have en meget omfattende stikprøve af en veldefineret population. Set i relation til eksempelvis Norge og Sverige, er den danske undersøgelse således per definition mindre velegnet til at udtale sig om ungdommen som samlet gruppe, men til gengæld mere velegnet til at udtale sig konkret om gymnasieungdommen.

Der er således god grund til IEAs gentagne understregning af, at de enkelte landes resultater ikke er direkte sammenlignelige “på retfærdigt grundlag”, da stikprøverne er af forskellig karakter (samt på grund af de tidligere nævnte problemer med hensyn til alder og klassetrin). Forbeholdet for alder tages særdeles markant i IEAs internationale rapport, men også dækningsgrad markeres som et aspekt, der skal tages højde for. IEA diskuterer dog ikke, om der er måder at sammenligne på, der i det mindste kan forsøge at kompensere for forskellen i dækningsgrad. Som sådan mener vi heller ikke, at det er ønskeligt at gøre det, da dækningsgrad som antydet er et ganske usikkert mål. I betragtning af IEAs store interesse for at kompensere for alder, kan det dog alligevel være relevant at diskutere muligheder for at kompensere lidt for forskelle i dækningsgrad. Vel vidende, at det i realiteten ikke lader sig gøre.

Eksempelvis kan man eventuelt forsøge at korrigere for forskellene ved at se på placeringen af de forskellige landes 75% percentil. Altså ved se på, hvor den dygtigste fjerdedel af respondenterne er placeret på skalaen i hvert land (minus de 5% yderste i hver ende). Dette ud fra en antagelse om, at alle undersøgelser under alle omstændigheder er repræsentative for landets dygtigste 25%. Også i den sammenligning klarer Danmark sig særdeles godt, men eksempelvis på skalaen for “kundskaber og færdigheder” ligger Norge og Sverige præcist på niveau med Danmark, når det gælder den dygtigste kvartil. Danmark ligger i øvrigt så godt, at den danske 50% percentil ligger helt identisk med den internationale 75% percentil. Det vil altså sige, at halvdelen af de danske unge i undersøgelsen er så dygtige, at de tilhører den bedste fjerdedel af den samlede internationale fordeling. Ligeledes ligger den danske 25% fraktil på niveau med den internationale 50% fraktil, så 75% af den danske undersøgelses unge er altså blandt de 50% dygtigste internationalt. Dertil kommer, at næsten ingen danske elever er i det område, der internationalt er den dårligste fjerdedel. Selv om man hypotetisk antager, at Danmark har haft en fordel ved at have en population, der kun består af netop de 65% “dygtigste” af årgangen, er det alligevel et godt resultat. På skalaen for økonomi er resultatet endda endnu tydeligere. Langt over halvdelen af de danske respondenter placerer sig i det område, der internationalt er den bedste fjerdedel. Uden detaljeret kendskab til de enkelte landes stikprøver er er det dog fortsat reelt umuligt at foretage en “retfærdig” sammenligning på kundskabsområdet. Selv om man antager, at Danmark skulle have en “fordel” i kraft af den gymnasierelaterede stikprøve, hvad der er reelt nok, kan man jo også udtrykke det noget mere positivt. Det er dog er markant, at Danmark kan få ca. 65% af “en årgang” til at ligge på dette faglige niveau. Det forekommer at være en vigtigere og mere interessant konstatering end en diskussion om retfærdighed eller ej. I det hele taget er det jo kun, når man læser resultaterne, som om der er tale om en international konkurrence mellem individer, at retfærdighedsdiskussionen har relevans.

Opsamling

Selv om man som sagt bør læse resultaterne af de enkelte landes testresultater med ovenfor anførte forbehold, er det indiskutabelt, at Danmark ligger med de højeste scores. Det er med så markant forskel til de fleste andre deltagerlande, at det selv med de nævnte forbehold kun kan karakteriseres som et godt resultat.

Et af de mest iøjnefaldende aspekter af testresultaterne er de relativt store kønsforskelle i Danmark. Dette er en medvirkende årsag til, at kønsfordelinger i de følgende kapitler systematisk vil blive oplyst.

Testresultaterne kendetegnes også ved markante forskelle på skoletype. Dette er på sin vis ikke overraskende, hvis man tager skolernes forskellige rekrutteringsgrundlag og kønsmæssige sammensætning i betragtning, men dog alligevel så tydeligt, at der i de følgende kapitler også systematisk vil blive set på skoletypeforskelle.