Читать книгу Gymnasieungdommens politiske dannelse - Peter Allerup - Страница 6

Respondenternes første opgave bestod i at besvare et hæfte med 43 spørgsmål, der tilsammen udgør en test af respondenternes viden om demokratiet, deres evne til at fortolke politisk kommunikation og deres kundskaber og færdigheder vedrørende økonomi. Dette kapitel omhandler denne test og dens forskellige delresultater. 16 af de 43 spørgsmål er gentagelser af et udvalg af spørgsmål fra grundskoleundersøgelsen (især nogle af de lidt sværere), mens 27 spørgsmål er nye og specielt tilpasset aldersgruppen. Denne test fungerede tilfredsstillende i pilotundersøgelser og blev derfor efter mindre justeringer anvendt i alle lande til testen. På baggrund af en efterfølgende psykometrisk test kunne det fastslås, at 40 spørgsmål havde tilfredsstillende statistiske egenskaber i alle lande. Resultaterne nedenfor vedrører med andre ord svarene på disse 40 spørgsmål ud af testens i alt 43 spørgsmål. Alle spørgsmålene er udformet som “multiple choice” spørgsmål, hvor respondenten skal finde det rigtige svar på spørgsmålet ved at vælge imellem fire forskellige muligheder.

De 40 testspørgsmål fordeler sig indholdsmæssigt i tre hovedgrupper med 14 kundskabsspørgsmål om kendetegn ved demokratiske samfund, 12 færdighedsspørgsmål relateret til evne til at fortolke politisk kommunikation af forskellig art og 14 kombinerede kundskabs- og færdighedsspørgsmål om samfundsøkonomi. I den tidligere test til grundskoleniveauet indgik kun et par enkelte spørgsmål med relation til økonomi, men dette tema er til ungdomsundersøgelsen udvidet til en selvstændig hovedgruppe.

De to første underinddelinger mellem kundskabs- og færdighedsspørgsmål er først og fremmest begrundet i spørgsmålenes formelle karakter. Kundskabsspørgsmålene kan siges at orientere sig mod respondenternes viden om kendetegn ved demokratiske samfund. Der er ikke tale om en test af “paratviden” i traditionel forstand, men om en test af evne til at identificere sådanne kendetegn.

Færdighedsspørgsmålene har lidt mere opgavekarakter, idet de relaterer sig til evnen til at forstå et konkret stykke politisk orienteret materiale. Tematisk overlapper disse to grupper undertiden hinanden. Den tredje underinddeling, økonomiske spørgsmål, er derimod alene begrundet tematisk, og omfatter altså både kundskabsspørgsmål og færdighedsspørgsmål. Det kan siges at være lidt uheldigt, hvis man interesserer sig for distinktionen mellem kundskaber og færdigheder, men IEA har valgt at betragte spørgsmålene om økonomi som noget særskilt. De økonomiske spørgsmål har en klar overvægt af teknisk orienterede spørgsmål, der vedrører respondenternes forståelse af markedsmekanismer såsom forholdet mellem udbud og efterspørgsel.

IEA offentliggør i den internationale rapport (Amadeo et al. 2002) resultaterne af denne test på en række såkaldte “skalaer”. Betegnelsen skala kan siges at dække over en analyseform/præsentationsform, der i udgangspunktet kan betegnes som konstruktioner af “samlevariable”. Der er konkret tale om, at data fra et udvalg af spørgeskemaundersøgelsens manifeste variable (her altså de enkelte spørgsmål i testen) sættes sammen som mål for samme latente variabel. Eksempelvis kan de 14 spørgsmål om økonomi siges at udgøre en test af respondentens “økonomiske kundskaber og færdigheder”, hvorfor den enkelte respondents resultat kan opgøres som én talværdi for dennes svar på disse 14 spørgsmål under ét. Den enkelte respondent får altså udregnet en “skala-score”, der forenklet udtrykt er dennes “gennemsnitlige” resultat. De enkelte landes resultater kan derefter udregnes som gennemsnittet af de respektive landes respondenters skalascores. Derefter kan de præsenteres i en form, hvor de enkelte landes resultater kan sammenlignes. Den største umiddelbare fordel ved denne metode er, at man får reduceret den meget omfattende datamængde fra enkeltspørgsmål til nogle ret få skalaer. Der kan argumenteres for, at man også får mere pålidelige resultater, når man samler forskellige variable, der måler “det samme”, frem for at forlade sig på svarfordelinger for enkeltspørgsmål, der typisk vil have en mindre grad af præcision sammenlignet med samlevariablens. Det kan i øvrigt bemærkes, at der i beregningen af den enkelte respondents skalascore også indgår en vurdering af de rigtigt besvarede spørgsmåls sværhedsgrad.

Som sådan vil vi ikke her tage den mere tekniske diskussion af de statistiske beregninger af dette. For en nærmere diskussion heraf henvises til IEAs rapporter + tekniske rapporter. Se også kapitel 4 senere i denne bog samt Bruun 2001.

Det kan også bemærkes, at der overalt benyttes vægtede tal. Vægtningen benyttes i hovedsagen til at korrigere for stratificerede stikprøver. Den danske stikprøve er imidlertid kun implicit stratificeret, af hvilken grund vægtningen kun har helt perifer betydning for de danske resultater. Se også indledningen til kapitel 2. Alle procenttal i tabellerne er vægtede valide procenter.

Pointen er under alle omstændigheder, at de nævnte inddelinger af testens 40 spørgsmål præsenteres i form af fire skalaer: En for kundskaber, en for færdigheder, en for de samlede kundskaber og færdigheder og en for økonomi.

Da der er en høj statistisk korrelation mellem skalaerne for henholdsvis kundskaber og færdigheder, kan disse to underskalaer også opfattes som én samlet skala, mens skalaen for økonomi både indholdsmæssigt og statistisk kan siges at være mere selvstændig. Den korrelerer eksempelvis ikke helt så tydeligt med kundskaber som med færdigheder. IEA påpeger i øvrigt også, at dette emne i nogle lande ikke anses for så centralt (for “civic education”). Af samme grund har IEA valgt at holde økonomi-skalaen adskilt fra de øvrige i den internationale rapport. Dertil kommer, at det kan være en fordel kun at inkludere de 14 kundskabsspørgsmål og de 12 færdighedsspørgsmål i “totalskalaen”, fordi dette giver en lidt mere direkte sammenlignelighed med totalskalaen fra 14-årsundersøgelsen, hvor totalskalaen netop kun bestod af kundskaber og færdigheder. IEA har dog også udregnet en totalskala for samtlige tre dimensioner af spørgsmål i testen, der altså er det mest omfattende udtryk for respondentens samlede faglige niveau, men IEA offentliggør den ikke i den internationale rapport.

I det følgende skal vi først se på Danmarks placeringer og resultater på disse skalaer, idet der først ses på skalaen for det kombinerede resultat for kundskaber og færdigheder, dernæst på kundskaber og færdigheder hver for sig og afslutningsvis på økonomi. Efterfølgende gives eksempler på de spørgsmål, der indgår i testen. IEA har “frigivet” 19 spørgsmål, der må offentliggøres, mens resten af testen betragtes som fortrolig. For hvert af disse 19 spørgsmål præsenteres foruden ordlyden også svarfordelingen for samtlige 14 lande, således at det kan ses helt konkret, hvor Danmark placerer sig på disse 19 forskellige spørgsmål. Desuden præsenteres kønsfordelingen for Danmark. Som sagt er det kun tilladt at offentliggøre ordlyden af netop disse 19 spørgsmål. IEA forestiller sig nemlig muligheden af at gentage testen på et senere tidspunkt og vil derfor undgå, at testen kommer til at cirkulere som undervisningsmateriale eller evalueringsmateriale.

Der er flere principielle vanskeligheder forbundet med at betragte de enkelte landes resultater på denne test som “retfærdige” sammenligninger. Derfor er landenes resultater i IEAs officielle tabeller ikke rangordnet efter resultat. Landene står i stedet i alfabetisk orden. Når der i det følgende undertiden optræder rangordnede tabeller, er det ikke, fordi vi er grundlæggende uenige i disse forbehold (jf. efterfølgende afsnit om sammenlignelighedsproblemer), men fordi rangordnede tabeller giver et mere letlæseligt overblik.

Som udgangspunkt skal man være opmærksom på, at testen er udviklet for at kunne udtale sig om elevernes kundskaber og færdigheder på disse givne områder, som alle lande i det internationale samarbejde har været enige om er relevante. Intentionen har således ikke været, som i mange andre kvantitative undersøgelser, at udvikle et instrument til at skelne mellem elever på forskelligt niveau, men derimod at undersøge, hvad eleverne kan på nogle konkret udvalgte områder. Dermed er ikke sagt, at testen ikke i praksis til en vis grad skelner dygtige elever fra mindre dygtige elever. Man kan for den sags skyld også have en stærk formodning om, at elever med godt resultat på denne test også er fagligt stærke på andre områder (eksempelvis kræver testen både en vis “læsekompetence” og en vis “matematikkompetence”). Som sådan er der imidlertid ikke udviklet særlige egenskaber ved testen, som definerer, hvad et “godt resultat” er, hvad et ønskeligt “minimumsresultat” er, eller lignende. Man kan konstatere, at nogle elever har flere rigtige svar end andre og dermed betragte resultaterne som relative grader af dygtighed, som naturligvis i form af landsgennemsnit også kan benyttes til sammenligninger med andre lande. De stillede spørgsmål er ikke nødvendigvis direkte knyttede til nationale undervisningsplaner, men derimod til en definition af, hvad det er ønskeligt, at unge mennesker ved eller kan analysere sig frem til, når det gælder demokratiets institutioner og virkemåde. Omvendt er denne definition af relevante områder dog ikke foretaget uafhængigt af undervisningsplaner, da definitionen af relevans i høj grad er baseret på fællestræk ved flere landes undervisningsplaner, men som sådan er der ikke tale om evalueringer af disse.

I den internationale rapport sammenlignes konsekvent resultater fra grundskoleundersøgelsen med resultater fra ungdomsuddannelserne. Det er naturligvis også et interessant perspektiv, men igen skal man være opmærksom på, at undersøgelserne ikke har haft til hensigt at undersøge, hvor meget dygtigere eleverne er blevet.

IEAs skalaer for kundskaber og færdigheder

Det overordnede testresultat kan siges at blive udtrykt ved skalaen for kombinationen af kundskabs- og færdighedsspørgsmål. I den internationale rapport præsenteres denne skala således som den første. Vi indleder derfor også med denne.

Begreber som kundskaber og færdigheder (knowledge and skills) er velkendte i dansk sammenhæng. Ser man nærmere på undersøgelsens spørgsmål, kan det dog diskuteres, hvor præcis distinktionen egentlig er. Oftest kan der ikke svares rigtigt på et såkaldt “kundskabsspørgsmål” alene ud fra paratviden, og oftest kan et såkaldt færdighedsspørgsmål ikke besvares uden inddragelse af relevante kundskaber om spørgsmålets tema. Som sådan kunne det være fristende i stedet at tale om henholdsvis “spørgsmål” og “opgaver”. Færdighedsspørgsmålene er nemlig typisk udformet på en sådan måde, at respondenten skal kunne uddrage en bestemt information fra enten et stykke tekst eller en tegning. For en lidt uddybende diskussion henvises til Bruun (2001, s. 83-85). Netop fordi det kan være diskutabelt, hvor god distinktionen mellem kundskaber og færdigheder er, da de så at sige gensidigt forudsætter hinanden, er den samlede skala meget relevant. Som nævnt er der da også en høj grad af korrelation mellem resultaterne på de to områder, hvilket i sig selv antyder, at kundskaber og færdigheder er to sider af samme sag.

Som det fremgår, ligger Danmark med den klart højeste score af alle lande. Desuden kan man bemærke, at Danmark har en meget lille standardfejl (standard error), hvilket vil sige, at der er meget stor sikkerhed for resultatet, hvilket er et klart signal om en undersøgelse af høj kvalitet i statistisk forstand. Det danske resultat ligner meget det svenske, bortset fra at Sverige har “en tung ende”, men det må ses i lyset af, at den svenske sampling omfatter en noget større procentdel af kohorten (se det senere afsnit om sammenlignelighedsproblemer).

Ovenstående skala er sammensat af kundskaber og færdigheder. I det følgende ser vi på disse dimensioner separat.

IEAs skala for kundskaber

På kundskabsdelen af testen er der ikke så stor forskel mellem landene. Det hænger sammen med, at den er relativt let for aldersgruppen. Ikke mindst de spørgsmål, der er bibeholdt fra grundskolen er ikke uventet ret lette spørgsmål på ungdomsuddannelsesniveauet. Danmark ligger også her med den højeste score af alle lande, men flere lande er relativt tæt på. Som sådan kan man konstatere, at eleverne i alle lande har ganske gode kundskaber om de aspekter ved demokratiet, som berøres i de stillede 14 spørgsmål. Resultaterne må altså ses i det lys. Såfremt man havde ønsket en sammenligning af elevernes helt “præcise” kundskabsniveau burde testen på dette område nok have været konstrueret lidt sværere.

Hvis man i stedet for skalascores ser på, hvad antallet af rigtige svar er i gennemsnit (eller samme udregnet som procent rigtige svar), får man et resultat, der umiddelbart kan forekomme mere oplysende end skalascores, fordi det er mere umiddelbart forståeligt. Som sådan ses det da også, at landene placerer sig i forhold til hinanden på stort set samme måde. Mindre afvigelser skyldes i øvrigt, at skalascores er vægtede resultater og tager hensyn til de enkelte spørgsmåls sværhedsgrad. I tabellen nedenfor er landene ikke vægtede, og et rigtigt svar tæller ét point, uanset om spørgsmålet er let eller svært. Det er således en mindre avanceret opgørelse, men som sagt også en opgørelse med en mere konkret informationsværdi.

Antal rigtige kundskabsspørgsmål i gennemsnit for de enkelte lande af 14 mulige. Respondenter med 0 rigtige er ikke medregnet, da disse typisk slet ikke har besvaret spørgeskemaet.

Som det ses, har de danske elever 1,2 flere rigtige svar end gennemsnittet, men selv de relativt dårligste lande opnår næsten 10 rigtige svar i gennemsnit, hvad der ikke kan siges at være dårlige resultater. Slet ikke for Letlands vedkommende, hvor der er tale om 10. klassetrin.

IEAs skala for færdigheder

Også på skalaen for færdighedsspørgsmålene alene ligger Danmark med det højeste gennemsnit. Man bemærker, at der er noget større variation imellem landene sammenlignet med kundskabsskalaen. Man bemærker en meget lille dansk standardfejl.

For denne skalas vedkommende er der også udformet en alternativ præsentationsform, der viser antallet af rigtige og procent rigtige for alle de respondenter, der har mindst ét rigtigt svar.

Antal rigtige færdighedsspørgsmål af 12 mulige (minus respondenter med 0 rigtige)

Når det gælder færdighedsspørgsmålene, er der som nævnt lidt større variation. På dette område placerer Danmark sig 1,5 rigtige svar over gennemsnittet. Kun Sverige og Schweiz er tæt på.

IEAs skala for økonomi

Når det gælder spørgsmål om samfundsøkonomi, er der endnu større forskel mellem landene. Danmark ligger meget klart med højest gennemsnit og igen med meget lille standardfejl. På dette område er det sådan, at de dygtigste 50% i Danmark i langt de fleste tilfælde er lige så dygtige (eller dygtigere!) som de andre landes dygtigste 25%. Dette kan naturligvis hænge sammen med, at økonomi muligvis ikke spiller så central en rolle i flere lande, men kan også hænge sammen med, at de andre tests er relativt lettere og derfor ikke differentierer lige så godt mellem landene.

Også her har vi som alternativ til den officielle tabel gjort resultatet op i antal rigtige/procent rigtige (med samme forbehold for resultaternes status som i tidligere tabeller af samme art).

Antal rigtige/procent rigtige spørgsmål om økonomi af 14 mulige (minus respondenter med 0 rigtige)

Danmark skiller sig endnu mere markant ud på denne dimension end på de øvrige og ligger med 2,2 flere rigtige svar end gennemsnittet som det eneste land med over 11 rigtige svar i gennemsnit. Og opgjort som procent, hele 30% (procentpoint) bedre end det lavest scorende land.

Kønsfordelinger på IEAs testskalaer

En af de mere påfaldende ting ved IEAs skalaanalyser er, at Danmark på alle de tre omtalte skalaer (kundskaber, færdigheder, økonomi) har den statistisk set mest signifikante kønsforskel. I alle tre tilfælde med det resultat, at drengene klarer sig bedst. Når det gælder skalaerne for kundskaber og færdigheder, er det kun Danmark og Portugal, der har signifikant kønsforskel på begge. På alle tre skalaer er de danske piger dog de dygtigste piger i hele undersøgelsen. I den forstand er der altså ikke tale om noget problem, da den danske kønsforskel udspiller sig inden for et generelt meget højt niveau. I en vis forstand kan man vel sige, at det er mere rigtigt at hæfte sig ved de danske drenges ekstraordinært gode resultat, end det er at hæfte sig ved kønsforskellen, der uundgåeligt bliver til en indikation af, at pigerne klarer sig dårligt. Det er altså ikke tilfældet i international komparativ sammenhæng. IEAs tabeller for kønsforskelle på de tre delskalaer ser således ud:

Eftersom Danmark og Sverige generelt ligger forholdsvis tæt på hinanden, er det påfaldende, at Sverige stort set ingen kønsforskelle har. Kun på skalaen for økonomi har Sverige en signifikant forskel til fordel for drengene, men den er kun halvt så stor som i Danmark. På skalaen for færdigheder har svenske piger et (ikke signifikant) bedre resultat end drenge.

Ud fra den betragtning, at Danmark relativt set er et land med en høj grad af kønsmæssig ligestilling, kan det umiddelbart forekomme lidt overraskende, at Danmark skiller sig ud med mest signifikant kønsforskel. I grundskoleundersøgelsen vedrørende 14-årige havde Danmark imidlertid også den største kønsforskel af samtlige lande, men i den undersøgelse var kønsforskellen for testen som helhed dog ikke signifikant.

Pigerne ligger lige meget under drengene på alle skoletyperne med undtagelse af htx, hvor kønsforskellen kun er den halve af de øvrige. I øvrigt kan man se, at pigerne opnår det laveste gennemsnit på hf, mens drengene opnår det laveste gennemsnit på htx.

Spørgsmålet kan så være om, man kan identificere kønsforskellen nærmere. Derfor lister vi her på enkeltspørgsmål de to køns andel af rigtige svar (i valide vægtede procenter) for at identificere de spørgsmål, der har størst forskelle. Det ser således ud (bemærk, at den samlede liste udgør en oversigt over testens 43 spørgsmål. I appendiks C findes listen ordnet numerisk):

Som det fremgår, er der en betydelig variation i kønsforskellen på de forskellige spørgsmål. Set fra drengenes perspektiv fra +22,1 procentpoint til - 1,3 procentpoint. Umiddelbart er det således påfaldende, at piger på intet spørgsmål ligger signifikant bedre end drengene. I grundskoleundersøgelsen var den samlede kønsforskel mindre, blandt andet fordi pigerne på nogle (få) spørgsmål i tydeligere grad end her klarede sig bedre end drenge. I et enkelt tilfælde påvirkes andelen af piger en del af, at der er tale om valide procenter, idet der på spørgsmål 18 er markant størst frafald af piger. Det skyldes formodentlig, at fremmedordet “koalitionsregering” for flere piger end drenge piger har været uforståeligt. I procenttal har piger 63,2% og drenge 79,8%. I alle de øvrige tilfælde er frafaldet så lille, at det i praksis er uden betydning.

Umiddelbart er det ikke helt let at finde en fællesnævner for spørgsmålene med størst kønsforskel. Måske kan man pege på, at en række af disse spørgsmål er af lidt kategorial eller “teknisk” karakter. Det gælder eksempelvis 9, 21, 23, 24, 27, 36, 37, hvor man som respondent vil profitere af at kende til kategorier som forskellige typer af skat, lønindkomst/realindkomst og udbud/efterspørgsel med videre, der måske profiterer af en evne til logisk kategorial tænkning, men det er dog alligevel ikke en helt tilfredsstillende forklaring, da det samme ville kunne siges om andre spørgsmål.

I tabellen er spørgsmålene rangordnet efter den internationale rigtighedsprocent, med de laveste værdier øverst. Tager man lav rigtighed som indikation af sværhedsgrad, er det meget tydeligt, at det især er på de sværeste spørgsmål i testen, at drengene klarer sig bedre end pigerne. Eneste undtagelse er igen spørgsmål 18. Som sådan en indikation af, at der ikke er aspekter ved spørgsmålene, der generelt er specielt til fordel for drenge. Internationalt er der jo kun kønsforskel på de økonomi-relaterede spørgsmål.

Man kunne overveje, om den danske kønsforskel hænger sammen med en lidt forskellig kønsmæssig rekruttering til gymnasieskolen, der jo samlet set rummer en større andel af piger end drenge. Lidt flere drenge end piger vælger andre veje, hvilket altså kunne indikere, at pigegruppen er lidt bredere sammensat socialt. Der er imidlertid ikke forskelle i de to køns angivelser af deres forældres uddannelsesniveau, så umiddelbart er der ikke direkte belæg i stikprøven for at sige, at en større del piger kommer fra mindre boglige hjem, men antalsmæssigt er der lidt flere. At en del af forklaringen nok alligevel ligger på dette område, indikeres af, at det er hf-pigerne. der klarer sig relativt dårligst. Lighederne med resultatet fra grundskoleundersøgelsen antyder dog omvendt, at det ikke er hele forklaringen.