I dag lanserte Civita – i samarbeid med Tekna, Nordea, NHO, Abelia, NCE Systems Engineering, Telenor og Aftenposten – studiekvalitet.no. På frokostmøtet i morges ble det i den forbindelse en engasjert debatt om kvalitet i høyere utdanning, om hva kvalitet er og om det kan måles.  Hvorfor skal vi egentlig være opptatt av kvalitet i utdanning og i forskning?

Dette har jeg holdt mange foredrag om, og her er utdrag fra ett av dem, som jeg holdt i 2003:

De aller fleste vil være tilhengere av et høyt kunnskapsnivå og stille seg bak alle forslag om å forbedre norsk forskning og utdanning. Men et av problemene med den såkalte kvalitetsdebatten i Norge, er at den ofte ender opp i en diskusjon om ressurser eller kvantitet. Slike debatter får lett mye oppmerksomhet, men hvis vi allerede bruker mye ressurser, vil det være minst like interessant å se hva vi får ut av innsatsen.

En forutsetning for å gjøre forbedringer er å vite hvor vi står. Vi må avdekke svake sider, hvis vi skal kunne gjøre noe med dem, og vi må avdekke sterke sider for å bygge videre på dem.

Hva vet vi så om sterke og svake sider i det norske kunnskapssystemet?

Når det gjelder det generelle kunnskapsnivået, ligger vi svært godt an. Internasjonale undersøkelser viser at vår befolkning er blant de mest velutdannede i hele OECD-området. Mer konkret kan vi blant annet konstatere at

• Vi har en inkluderende skole, der de aller fleste elever trives godt. Vi har en høy lærertetthet, og vi ligger i toppsjiktet når det gjelder tilgjengelighet og bruk av IKT i videregående opplæring.
• Kapasiteten innenfor høyere utdanning er mer enn fordoblet de siste 20 årene, og internasjonale evalueringer har vist at undervisningen ved universitetene holder et høyt faglig nivå.
• Norsk forskning hevder seg godt på flere enkeltområder, som for eksempel klimaforskning, geologi, hjerneforskning, matematikk, IKT og samfunnsvitenskap. Norske doktorgradsavhandlinger regnes også for å holde et høyt internasjonalt nivå.

Alt dette er sterke sider som vi skal være stolte av. Og trolig vil de fleste være enig i at det finnes mange eksempler på god kvalitet både innenfor grunnopplæring, høyere utdanning og forskning.

Vi kan selvsagt velge å slå oss til ro med dette, men da velger vi å se bort fra en del viktige utfordringer. La meg nevne noen:

• Mange norske elever har manglende ferdigheter i lesing, regning og naturfag. Vi er blant de landene som har størst forskjeller mellom svake og sterke elever. Hele 20 prosent av norske 10-åringer mangler elementære leseferdigheter.
• I høyere utdanning viser det seg at norske studenter bruker forholdsvis lang tid på studiene samtidig som mange avbryter utdanningen.
• Utenlandske ekspertgrupper som har evaluert norske forskningsmiljøer, har blant annet pekt på at innsatsen er fragmentert. Det er for mange små miljøer, og det er behov for sterkere faglig ledelse og bedre samarbeid og arbeidsdeling.

I tillegg må vi innse at verden ikke står stille. Vi må utvikle oss bare for å opprettholde sterke sider, og desto mer hvis vi skal ha ambisjoner om å forbedre oss.

Men hva er kvalitet?

Nå har jeg allerede nevnt flere egenskaper som forbindes med kvalitet i forskning og utdanning. Men vi trenger også en større bevissthet om hva vi legger i selve begrepet kvalitet.

Det har blitt hevdet at kvalitet er “det mest komplekse, mangedimensjonale virksomhetskonsept som noen gang er redusert til åtte bokstaver”. Andre har sagt at “kvalitet er umulig å definere, men vi kjenner igjen det når vi ser det”. Da jeg spurte mine egne barn i dag, sa de at kvalitet betød at noe var “ordentlig” eller “bedre”, og at det hadde med “sikkerhet” å gjøre.

Kvalitet er altså langt fra noe absolutt og entydig begrep. I utgangspunktet betyr ikke ordet annet enn beskaffenhet eller egenskaper, det vil si at det skal fortelle noe om godheten ved noe. Men da må man for det første vite hvilke egenskaper man ønsker å vurdere og dernest hva disse egenskapene skal vurderes i forhold til. Kvalitet er med andre ord et relativt begrep og et tomt begrep inntil det fylles med innhold.

Det er gjort mange forsøk på å komme frem til mer presise definisjoner av begrepet.

• For noen vil kvalitet være knyttet til det unike og fremragende, som for eksempel ved utdeling av nobelpriser. Her er det snakk om en meget eksklusiv forståelse av begrepet, både fordi kvalitetsbetegnelsen forbeholdes de få, og fordi kvalitetsbedømmelsen krever stor ekspertise.

• I motsatt ende av skalaen finner vi tilfeller der kvalitet forbindes med evnen til å oppfylle krav. Dette kan ofte være minimumskrav eller krav om at produktet eller prosessen ikke skal inneholde feil. Dermed blir kvalitet ikke noe unikt, men tvert imot noe man forventer som et minimum. Den internasjonale standardiseringsorganisasjonen ISO definerer for eksempel kvalitet som “evne til å tilfredsstille fastsatte krav”.

Mellom disse ytterpunktene finner man en rekke andre tolkninger av kvalitetsbegrepet. Begrepet kan blant annet forbindes med evnen til å utnytte ressursene på best mulig måte, evnen til å forbedre resultatene i forhold til et gitt nivå eller evnen til å tilpasse produktene eller tjenestene til nye betingelser.

På mange samfunnsområder vil det være naturlig å legge vekt på én av disse definisjonene. Innenfor kollektivtrafikk vil for eksempel kvalitet i stor grad være forbundet med fravær av avvik. Den som venter på bussen, er mer interessert i at reisen skal skje uten forsinkelser eller ulykker, enn at transportmetoden skal være unik.

Innenfor forskning og utdanning er det vanskeligere å legge vekt på én tolkning av kvalitetsbegrepet. På disse områdene har vi nemlig svært sammensatte forventninger:

La meg begynne med forskning. På dette området har vi forholdsvis etablerte kriterier for hva som er god forskning. Gjennom tidene har imidlertid forskjellige kriterier stått i sentrum.

Da Galileo Galilei oppdaget Jupiters måner, var dette et vitenskapelig gjennombrudd av dimensjoner. Månene som sirklet omkring den store planeten, var et klart bevis på at vår egen klode ikke kunne være universets sentrum slik kirken hevdet.

Galileos påstand ble regnet som kjettersk, og historien endte som kjent med at Galileo ble trukket for inkvisisjonen og tvunget til offentlig å ta avstand fra det han selv hadde hevdet tidligere. Her ble forskningens kvalitet målt på grunnlag av de rådende religiøse dogmer, og etter den målestokken falt Galileos vitenskapelige gjennombrudd gjennom. Mer enn 350 år senere, i 1992, uttaler den katolske kirken offisielt at Galileo ble uskyldig dømt. Nye kriterier ble nå lagt til grunn.

I dagens forskning opererer man gjerne med tre sentrale kvalitetskriterier:

Det første er originalitet, som kan ytre seg ved at forskningen bidrar med ny kunnskap som setter gamle sannheter til side og tvinger oss til å tenke nytt. Mange bruker også betegnelsen “banebrytende forskning”.

Den andre egenskapen er soliditet, som henspeiler på hvordan forskningen er gjennomført, for eksempel om resultatene kan etterprøves.

Den tredje egenskapen som nevnes er relevans, dvs. i hvilken grad forskningen er interessant eller nyttig for andre. Disse “andre” kan både være forskerkolleger og brukere i næringslivet eller samfunnet for øvrig.

Forskerne legger selvsagt ulik vekt på disse tre kriteriene. I en del tilfeller kan de også stå i motsetning til hverandre. Intuitivt vil man for eksempel si at det er en motsetning mellom det å gjøre revolusjonerende vitenskapelige gjennombrudd og å holde seg til hevdvunnen teori. Da Charles Darwin publiserte “The Origin of Species”, ble boken møtt med stor interesse, og det første opplaget ble revet bort. Men det forhindret ikke sterk kritikk, og mange gikk inn for å latterliggjøre hypotesene han fremsatte. I dette tilfellet sto altså originaliteten i klar motsetning til det samtiden betraktet som soliditet og vitenskapelig relevans.

En intervjuundersøkelse som ble gjort for noen år siden, viser at de fleste norske forskere fremhever nettopp originalitet som det viktigste kriteriet for god forskning. Det er ikke uventet. Mye av poenget med forskning er jo at den skal si oss noe vi ikke visste fra før.

Dermed skulle man kanskje tro at forskning av virkelig høy kvalitet oppstår i individualistiske systemer, der hver forsker isolert og uavhengig kan gjøre opprør mot etablerte teorier og metoder. Men det er ikke nødvendigvis tilfelle. Den ungarske vitenskapsfilosofen Michael Polanyi var blant de første som kommenterte forholdet mellom originalitet, soliditet og relevans i forskningen. Et av hans hovedpoenger var at veien til vitenskapelige fremskritt ikke går gjennom utelukkende å dyrke det originale, men gjennom å dyrke spenningen mellom originalitet på den ene side og relevans og soliditet på den andre. Ifølge Polanyi er det forskerens kontakt med etablerte metoder og teorier som gir grobunn for å gjøre opprør mot de samme teorier og metoder.

Dette kan langt på vei bekreftes av de studier som er gjort for å finne ut hva som kjennetegner gode forskningsmiljøer. Et interessant fellestrekk ved de beste miljøene er at de preges av utstrakt kommunikasjon og samarbeid, både innad i miljøene og utad. Spesielt viktig er selvsagt samarbeidet over landegrensene og kontakten med den internasjonale forskningsfronten.

Gode forskningsmiljøer synes også å være preget av mangfold, både når det gjelder forskernes alder og bakgrunn og når det gjelder oppgaver; i form av fordypning, undervisning, formidling og kontakt med næringslivet. Det er vel å merke ikke mangfoldet i seg selv som er kvalitetsfremmende, men miljøets evne til å utnytte mangfoldet.

Dette forteller oss at det er svært vanskelig, og heller ikke ønskelig, å velge ett enkelt kriterium for kvalitet i forskning.

Hva så med kvalitet i utdanningen?

I utdanningssystemet er det enda vanskeligere å finne ett kvalitetsbegrep som alle kan slutte seg til. Blant dagens barn og unge vet vi at de aller fleste vil fullføre 13 års skolegang, og det antas at 65 pst. kommer til å ta en eller annen form for høyere utdanning. Hele utdanningssystemet er dermed et system som favner flertallet av dagens barn og unge. Det sier seg selv at et slikt system må ha brede målsettinger, og dermed også operere med et bredt kvalitetsbegrep.

Det er gjort flere forsøk på å finne kriterier for hva som er kvalitet både i høyere utdanning og i grunnopplæringen. De fleste ender opp med en lang liste med kriterier, men det er særlig tre perspektiver som synes å gå igjen.

• For det første vises det til de ytre rammene for undervisningen i form av ressurser, som for eksempel bevilgninger, antall lærere, lokaler og utstyr.
• Det andre kriteriet legger vekt på selve læringsprosessen, og omfatter bl.a. innholdet i undervisningen, hvordan undervisningen er lagt opp og hvilke metoder som benyttes.
• Et tredje kvalitetskriterium omtales ofte som resultatkvalitet, det vil i korthet si elevens eller studentens utbytte av utdanningen, ikke bare i form av karakterer, men i form av et helhetlig læringsutbytte.

Akkurat som for forskning, vil det være uheldig å velge ett av disse kriteriene og gi det ut for å være selve definisjonen på kvalitet i skolen. Et ensidig fokus på rammene for undervisningen kan for eksempel fort kamuflere at læringsutbyttet ikke står i forhold til ressursbruken.

Og selv om mange vil kunne hevde at læringsutbyttet er det overordnede målet, kan man også tenke seg en situasjon der det faglige nivået er høyt fordi elevene “piskes” frem til gode resultater, det vil si med metoder vi ikke kan akseptere. I et slikt tilfelle er det viktig at man har et kvalitetsbegrep som er bredt nok til at man kan stille spørsmål om også læringsprosessen holder god kvalitet.

I høyere utdanning har vi på relativt kort tid gått fra en situasjon med høyere utdanning for de få til høyere utdanning for de fleste. Dagens universiteter og høyskoler står derfor overfor helt andre utfordringer og forventninger enn for noen tiår siden. Formålet med den pågående kvalitetsreformen i høyere utdanning er å få flere studenter til å gjennomføre studiene samtidig som man hever det faglige nivået.

Enkelte kritiske røster har likevel hevdet at det i større grad dreier seg om en kvantitetsreform enn en kvalitetsreform, bl.a. fordi reformen innebærer at antall kandidater og avlagte eksamener vil bli tillagt vekt. Men etter min mening er det ikke et kvalitetstegn når svært mange studenter velger feil, må velge om igjen, stryker eller slutter etter svært kort tid.

Vi kan naturligvis hevde at kvaliteten er fremragende, og at det er studentene som tar feil. Jeg foretrekker å stille noen kritiske spørsmål, bl.a. om kvaliteten på de studieprogrammene man har tilbudt studentene og om utdanningsinstitusjonenes incentiver til å tilby kvalitet. Studietiden gir ingen dannelsesgaranti, men den gir en dannelsesmulighet. Kvalitetsreformen innebærer større krav til fordypning, til å forplikte seg, til å foreta valg, til jevn innsats, til å gi og motta veiledning, til å se over og på tvers av land og tradisjonelle faggrenser. Det er en utdypning, ikke en uthuling, av muligheten til dannelse.

Måling av kvalitet er et tema som mange opplever som spesielt vanskelig. Det avgjørende punktet er selvsagt hva som i hvert tilfelle skal vurderes. Produktvurdering er de fleste vel kjent med, og vi godtar at kvalitetsforskjellene kan være store når det gjelder alt fra biler og klær til ost og vin. Kvalitetsmålinger er også tatt i bruk i deler av offentlig sektor. I helsevesenet har man etter hvert oppnådd ganske bred enighet om hvilke kriterier for eksempel sykehusene skal måles etter.

Uenigheten er imidlertid større – i hvert fall foreløpig – når det er kvaliteten i skolen som skal vurderes. Det blir hevdet at skolen er en så sammensatt virksomhet at enkeltkriterier som for eksempel faglige resultater, ikke kan gi noe godt bilde av situasjonen.

Før man snakker om å måle kvalitet bør man derfor også snakke om hvorfor man skal måle kvalitet. Måling er jo ikke noe poeng i seg selv.

Den egentlige begrunnelsen ligger etter mitt syn i at man har et ønske om forbedring. Og hvis man skal forbedre seg, må man vite hvor man står: “Hvor er det skoen trykker?”, “hva må vi jobbe mer eller annerledes med?” For å få svar på slike spørsmål trenger man informasjon som er forståelig og tilgjengelig for dem som skal bruke den. Slik informasjon kan i en del tilfeller gjøres om til indikatorer som gjør det mulig å sammenlikne, enten med andre eller med seg selv over tid.

Så er spørsmålet om slike indikatorer virkelig sier noe om kvalitet i utdanning og forskning. Etter min mening er svaret ja. En indikator sier noe om kvaliteten – men den sier selvsagt ikke alt.

Jeg mener også at det er en rekke egenskaper og verdier som verken kan eller bør måles. Evne til omsorg, vennlighet eller humoristisk sans er meget viktige egenskaper. Men de skal etter min mening ikke poengsettes og måles.

En viktig oppgave er derfor å finne frem til de variablene som både kan og bør måles, og som kan vise seg å være nyttige indikatorer. I den forbindelse er det både naturlig og riktig at det foregår en åpen og grundig debatt om hvilke kvalitetskriterier som skal brukes i skolen. Kvalitetskriteriene er langt fra naturgitte størrelser. De kan variere over tid, for eksempel avhengig av utfordringene vi står overfor. Dessuten dreier det seg om barn, og dette skjerper kravene til valg av metodikk. Her må både personvern, rent menneskelige hensyn og etiske avveininger spille en avgjørende rolle.

I dette ligger det en klar utfordring. Men i stedet for å la være å måle noe som helst fordi det er komplisert, bør vi arbeide for å skaffe til veie informasjon som kan gi oss kunnskap om den skolen vi sender våre barn til. Hensikten er ikke å føre kontroll – men å fremskaffe et styringsverktøy for skolene, kommunene og alle som arbeider for forbedring av skolen.

I løpet av våren 2004 vil vi opprette et eget nettsted, den såkalte Skoleporten, som bl.a. vil inneholde informasjon om elevenes læringsmiljø, læringsutbytte og ressurssituasjonen ved den enkelte skole. Samtidig vil det bli innført nasjonale prøver i lesing, skriving, engelsk og matematikk. Hensikten er å gi elever, lærere og skoleiere informasjon som kan brukes til å gjøre forbedringer. Og dette er ikke noe særnorsk påfunn, men tvert om problemstillinger som nå diskuteres i svært mange land.

Dette nasjonale kvalitetsvurderingssystemet vil ikke legge til rette for endimensjonale rangeringer av skolene. Ulike skoler arbeider utfra svært forskjellige forutsetninger, noe som gjør det vanskelig å foreta direkte sammenligninger uten at man korrigerer for slike forskjeller.

Minst like viktig er det derfor at den enkelte skole får mulighet til å måle egen fremgang på ulike felter, eller det motsatte – nemlig få vite hvor det er nødvendig å bruke ekstra krefter, enten det gjelder skolenes eller kommunenes innsats. Sammenligning med andre kan likevel ha en viss interesse, fordi vi kan lære av hverandre. De fleste skoler har både sterke og svake sider – og de fleste skoler har både noe å lære av andre og noe å lære bort.

Også i høyere utdanning er vi nå i ferd med å innføre systematiske kvalitetsvurderinger. Slike vurderingssystemer har vært innført i de fleste vestlige land allerede fra 1980-tallet. Men i Norge kom ikke dette arbeidet ordentlig i gang før sent på 1990-tallet. Nå har vi nylig fått etablert et eget nasjonalt kvalitetssikringsorgan (NOKUT) og er dermed mer på linje med våre naboland.

Når det gjelder forskning, gjelder et annet sett regler. Da Alfred Nobel skrev sitt berømte testamente, valgte han kriterier uten særlig andre hensyn enn egne prioriteringer. Hans viktigste forutsetning var at nobelprisene skulle gå til dem “som under det förlupna året hafva gjort menskligheten den största nytta”. Begrensningen til det foregående år ble senere fjernet, fordi det i mange tilfeller først i ettertid er mulig å se hva som virkelig kan regnes som vitenskapelige gjennombrudd.

Nobel stod fritt til å velge kriterier, og han definerte i tillegg en svært eksklusiv målgruppe. Når vi skal vurdere forskningskvalitet på bred front, må kriteriene velges med større omhu.

Tidligere nevnte jeg tre egenskaper som kjennetegner kvalitet i forskning; nemlig originalitet, soliditet og relevans. Det er utviklet indikatorer som blant annet tar for seg disse egenskapene, og i tillegg sier noe om produktivitet og framdrift. Dette kan for eksempel være antall publikasjoner eller hvor ofte en forsker siteres av andre forskere. Slike indikatorer er nyttige verktøy, men alle verktøy har sine svakheter.

Et standardverktøy for gjenkjennelse og anerkjennelse av kvalitet er fagfellevurdering, eller såkalt peer review. Det betyr at andre, kompetente forskere vurderer resultatene før de publiseres i et anerkjent tidskrift. Men også en slik metode har svakheter. I noen tilfeller kan metoden virke konserverende fordi den kan komme til å undervurdere originale bidrag. Det er derfor viktig å bruke et helt sett av indikatorer også for forskningen for å få et så helhetlig bilde av virkeligheten som mulig.

Det er også viktig å lytte til kritiske røster, og Ludvig Holberg var en av de første som pekte på at antallet publikasjoner i seg selv ikke alltid var et uttrykk for kvalitet. I et essay om universitetsundervisningen skriver han at “et Lands Ære bestaaer ikke derudi, at der skrives mange, men at der skrives faa og gode Bøge”. Når det er sagt, er det likevel bred enighet om at de beste forskerne oftest også er de mest produktive.

Så langt har jeg forsøkt å vise at forskning og utdanning er områder der vi har så sammensatte forventninger at det er nødvendig med et bredt kvalitetsbegrep. Samtidig har jeg forsøkt å vise at det både er meningsfullt og mulig å måle kvaliteten i forskning og utdanning, forutsatt at vi måler langs flere akser.

Disse hovedpunktene er det etterhvert ganske bred enighet om. Likevel mener jeg at det er behov for å avlive eller rokke ved noen av de mytene som går igjen i kvalitetsdebatten:

For det første synes det å være en utbredt oppfatning at det å satse på kvalitet på ett område med nødvendighet vil gå på bekostning av andre hensyn. Et typisk eksempel fra skolen er tanken om at økt fokus på faglige prestasjoner vil gå utover elevenes trivsel og selvbilde. Men de fleste undersøkelser viser at det ikke er noen motsetning mellom trivsel og faglige prestasjoner

Jeg er dessuten uenig med dem som mener at lese-, skrive- og regneferdigheter bare er “harde nyttefag”  som nærmest står i motsetning til utvikling av det hele menneske og dets livskvalitet. Basisfagene er nyttige, både i utdanning og arbeidsliv, men de er også en grunnleggende forutsetning for nytelse og for å realisere sine egne drømmer, håp og talenter.

Et annet eksempel er enkelte forskeres oppfatning av at man ikke kan satse på topprestasjoner uten at det går utover bredden. Erfaringene viser det motsatte. Spesielle satsinger på de beste og mest lovende forskerne har vist seg å gi positive ringvirkninger langt utover de utvalgte miljøene.

En annen myte jeg gjerne vil rokke ved er myten om at vi kan la være å måle kvaliteten i forskning og utdanning. I teorien står vi selvsagt fritt til å avvikle alle kvalitetsvurderinger. Men i praksis vil det få svært store konsekvenser. I høyere utdanning er man i ferd med å bygge ned barrierene mellom landenes utdanningssystemer. Sammenlignbare kvalitetskrav er et sentralt mål og virkemiddel i denne prosessen, bl.a. for å øke mobiliteten over landegrensene. Dette er en utvikling det er vanskelig og svært uheldig for Norge å melde seg ut av.

Det foregår dessuten en egen debatt om åpenhet om kvalitet og kvalitetsmålinger. Etter min mening er kunnskap og åpenhet grunnleggende byggesteiner i et demokrati – og en forutsetning for fremgang. Kunnskapssystemet må forholde seg til at samfunnets krav til innsyn er blitt skjerpet. Folk er blitt mer interessert i å vite hva slags undervisning som gis i skolen, hvordan studiekvaliteten er ved universitetene og hva som kommer ut av forsknings­bevilgningene. Man kan velge å betrakte dette som et problem, eller man kan velge å se det som et ledd i en demokratiseringsprosess.

Etter min mening er det en myte at åpenhet om kvalitet bare bidrar til å skape tapere. Mange har nettopp av den grunn stilt seg kritisk til å gjøre kvalitetsvurderinger av skolene tilgjengelige for allmennheten. Det kan det naturligvis være grunn til hvis målingene er ensidige eller mangelfulle. Men selv med brede kvalitetsvurderinger er det enkelte som prinsipielt er mot en slik åpenhet. Jeg er ikke redd for det.

Jeg tror åpenhet fremmer nysgjerrighet, debatt, dialog og krav – og det synes jeg er bra! Min overbevisning er at slik åpenhet vil inspirere til å heve kvaliteten i hele utdannings- og forskningssystemet.