NTNU MOT TOPP TI: Skuebrød eller levebrød? Rankinger ved en skillevei
(2.1.07, 06:45) NTNU falt 46 plasser på universitetsrankingen fra Times Higher Education Supplement for 2006. Innsikten kostet Universitetsavisa dyrt. Universitetsrankingene fra Shanghai Jiao Tong University og Times Higher Education Supplement har, tross mange feil, blitt autoritative og retningsgivende for nye strategiplaner ved universiteter verden over. Det kan ligge penger i det.
FAKTA | NTNU OPP OG NED
NTNU ligger på 289. plass på årets THES-ranking, med en totalscore på 22,6 poeng. Dette er 4 poeng opp, men 46 plasser ned fra i fjor.
På indeksen Engineering & IT klatret NTNU opp seks plasser fra i fjor, til 87. plass. 25 europeiske universiteter rangeres høyere enn NTNU på denne indeksen for 2006. | Porsjonerer ut nyheter
NTNU-styret er langt fra alene om å rette seg etter det nye rankingregimet som har fått etablere seg for alvor de siste par årene. Ja, det er faktisk ikke mer enn to år siden Times Higher Education Supplement (THES) offentliggjorde sin første rangering av verdens universiteter.
Den tredje THES-rankingen har blitt sluppet i små, ukentlige porsjoner denne senhøsten. 6. oktober fikk leserne vite hvilke som var å finne blant de to hundre beste universitetene i verden. Uken etter kunngjorde THES topp hundre innen medisin og Life Sciences, deretter topp 100 i kategorien Engineering & IT, og så videre.
For å få tilgang til data som ligger til grunn for rankingen, må du abonnere på THES eller kjøpe tilgang online. Det har Universitetsavisa gjort for å kunne skrive denne artikkelen du nå leser.
Men selv med abonnementet får du ikke vite alt. NTNU var ikke å finne i det gjeveste selskapet, det vil si blant de to hundre høyest rangerte.
Hvor kunne trøndernes stolthet ha havnet i det fine internasjonale selskap, mon tro? Og hvilken score hadde NTNU oppnådd på de ulike kriteriene THES opererer med?
Svaret vi fikk fra THES: den fullstendige oversikten over de fem hundre fremste universitetene utgis i bokform ultimo november. For tjue pund, pluss porto og ekspedisjonsgebyr, kan man altså få rede på hvorfor THES i år har plassert NTNU på 289. plass, 46 plasser ned fra i fjor.
FAKTA | UIB FORBI NTNU
Noen nordiske plasseringer på THES-rankingen for 2006:
Københavns Universitet (54)
Uppsala Universitet (111)
Helsinki Universitet (116)
Lund Universitet (122)
Aarhus Universitet (126)
Chalmers Tekniske Högskola (147)
Kungliga Tekniska Högskolan (172)
Universitetet i Oslo (177)
Danmarks Tekniske Universitet (194)
Stockholm School of Economics (207)
Stockholms universitet (261)
Syddansk universitet (273)
Universitetet i Bergen (277)
Gøteborgs universitet (284)
NTNU (289)
Helsinki University of Technology (291)
Universitetet i Umeå (311)
Universitetet i Tromsø (401) | Dårlig kvalitetssikring
Når man endelig har punget ut en liten tusenlapp for et årsabonnement på ukeavisen THES, både cellulose- og nettversjonen, og supplert med boken Top Universities Guide, forstår man at dette må være god butikk. Både for THES og for samarbeidspartneren QS Ltd, som markedsfører seg selv som ”verdens ledende nettverk for karriere og utdanning med et globalt fokus”.
Ikke at vi vet hvor mye penger som renner inn til selskapene bak rankingen, men én ting står klart: det er satt av minimalt med ressurser til å kvalitetssikre informasjonen som hentes inn.
Listene inneholder nemlig feil på feil på feil, i den grad at det ville invitert til å trekke overbærende på smilebåndet, om man ikke hadde vært så smertelig klar over alvoret som forbindes med denne rankingen blant ambisiøse universitetsledere verden rundt.
Men la oss først se på hvilke kriterier THES vektlegger i sin søken etter toppuniversitetene. Halvparten av scoren regnes ut fra to komponenter de omtaler som en kvalitativ metode, nemlig Peer Review, som teller 40 prosent, og Recruiter Review, som teller 10 prosent.
Peer Review
I løpet av de tre siste årene har til sammen 3.703 akademikere fra hele verden svart på et spørreskjema fra THES, der de bes om å navngi de tretti beste institusjonene innenfor deres fagfelt. (Universitetsavisa har snakket med NTNU-ansatte som fikk tilsendt spørreskjemaet, men som slettet det fordi de trodde det var spam).
Legger man sammen disse svarene, utgjør det altså hele 40 prosent av sammenlagtscoren i THES-rankingen. Med sine 20,1 poeng kommer NTNU godt ut av det i denne kategorien, med bedre score enn 19 av universitetene på topp 200-listen.
Denne fagfellevurderingen følges av en komponent verd 10 prosent basert på meningene til nøkkelpersonell i en rekke større selskaper som rekrutterer uteksaminerte studenter til næringslivet eller offentlig sektor.
Recruiter Review
I alt 736 slike ”rekrutterere” har i løpet av de siste tre årene respondert på THES sitt spørsmål om hvilke utdanningsinstitusjoner de helst henter inn nye folk fra.
Tretti universiteter på topp 200-listen gjorde det dårligere eller like godt som NTNU i denne kategorien. Det kunne dog vært interessant med dypere innsikt i dataene, ettersom det florerer av pussigheter her.
For eksempel er det 0,0 prosent som kunne tenke seg å rekruttere nye kandidater fra Osaka University, Universitetet i Basel, University of Zurich, Université Marie et Pierre Curie, Universität Berlin, Danmarks Tekniske Universitet, Lund, Uppsala – og Universitetet i Oslo. Da har vi nevnt bare noen få av de 150 universitetene på topp 500-listen som fikk null poeng på Recruiters Review.
FAKTA | NAVNEBRØDRE PÅ LISTENE:
NTNU har som de fleste vil vite en navnebror i Taiwan - National Taiwan Normal University. Våre venner i øst er nykommere på THES-rankingen på 446. plass. | Målbare størrelser for fall
Den andre halvdelen av THES-rankingen hevdes å være grunnet på ”kvantitativ analyse”, og er delt inn i fire kategorier: andelen internasjonalt vitenskapelig ansatte av det totale antallet vitenskapelig ansatte (teller 5 prosent av totalscoren) , antall internasjonale studenter i forhold til det totale antall studenter (teller 5 prosent av totalscoren), antall vitenskapelig ansatte i forhold til antall studenter (teller 20 prosent av totalscoren), og endelig antall siteringer i vitenskapelige tidsskrifter per vitenskapelig ansatt (teller 20 prosent av totalscoren).
For å ta det siste først: NTNU ligger med sine 4,4 siteringspoeng foran førti av sine konkurrenter på topp 200-listen. Men det er unektelig noe eiendommelig at velrenommerte Sciences Po i Paris belønnes med 0 poeng på denne indeksen, i likhet med Sorbonne-universitetet på den andre siden av Seinen, University of London, University of Brussels – og slik kunne vi holde det gående en god stund.
Tromsø større enn NTNU?
De tallrike merkverdighetene til tross, det største problemet med den kvantitative delen av THES-rankingen er kanskje det at den ser ut til å bygge på tilfeldig og ikke etterprøvd selvrapportering fra universitetene.
Hvorfor for eksempel Universitetet i Tromsø er oppført med 2.063 vitenskapelig ansatte og 20.963 studenter, er det vel opp til noen andre enn Universitetsavisa å gi et godt svar på.
Ille er det også at THES ikke benytter seg av sammenlignbare tall når det gjelder antall vitenskapelige ansatte, som har innvirkning på tre av de ovenfor nevnte kategoriene. Beregningsgrunnlaget for NTNU er 1.465 vitenskapelig ansatte, hvorav 161 av ”internasjonal opprinnelse” (tall for 2005). Universitetets 941 doktorgradsstipendiater og 198 postdoktorer telles ikke som vitenskapelig personell, men som studenter.
Litt rart, egentlig, når svært mange andre regner med sine doktorer og postdoktorer som vitenskapelig personale. Et kjapt søk røper at dette gjelder for UiO, og for de fleste av våre naboer i Norden. Stikkprøver fra en del europeiske universiteters hjemmesider viser den samme tendensen.
Vil de viktigste rankingene overleve?
Det må være en statistikers våte drøm å plukke underlagsmaterialet som THES-rankingen benytter seg av i fillebiter. Eller kanskje ikke – det må rett og slett være en altfor enkel oppgave for en universitetsutdannet tallknuser.
Der THES-rankingen påberoper seg en kvalitativ tilnærming, bestreber Shanghai-rankingen seg på å være rent kvantitativ. Men som vi har sett her og i en tidligere sak i Universitetsavisa om Shanghai-rankingen, er det betydelige svakheter ved begge.
Selvrapportering, feil bruk av tall, og anakronistiske kvalitetsmål som tidligere Nobelprisvinnere, er bare noen få av feilkildene i forhold til å vise hvor et universitet plasserer seg i den internasjonale akademiske kappestriden i dag.
Likheten rankingene imellom er påtakelig – man finner gjerne de samme universitetene helt i toppen – men forskjellene er heller ikke til å kimse av. NTNUs nærmeste nordiske nabo på THES-rankingen er Helsinki University of Technology. På årets Shanghai-ranking ligger imidlertid finnene et par hundre plasser bak oss.
Blir vi da særlig mye klokere av disse selvutnevnte rangerere av universiteter, hva enten de kommer fra London eller Shanghai?
Kanskje ikke, men rankingene er nok kommet for å bli. Hvorvidt de to dominerende aktørene makter å gi et riktig og fyldestgjørende bilde av forsknings- og utdanningskvaliteten ved verdens universiteter, er en annen skål.
Den globale oppmerksomheten rundt rankingene er stigende, og THES/QS Ltd er i ferd med å gjøre god butikk ut av sine produkter. Hittil har de også hatt liten konkurranse. Men skal de overleve i dette fortsatt unge markedet, bør vel kvalitetsmålerne selv levere høyere kvalitet på varene de tilbyr?
Av Kenneth Stoltz Her er NTNU på THES-rankingen Topp 100 Engineering & IT
|