29. februar 2016

Ny afhandling finder metoder til at måle og veje forskere for lette

målinger

Det er svært at afgøre, hvor stor indflydelse en forsker har med sit videnskabelige arbejde. Derfor er der udviklet metoder som det såkaldte h-indeks, der med et enkelt tal opsummerer en forskers betydning. De metoder er populære hos politikere, universiteter og fonde, fordi de gør det nemt at sammenligne forskerne med hinanden og i sidste ende beslutte, hvem der skal have penge til nye forskningsprojekter. Men de er desværre også vildledende og ensidige, viser ny afhandling.

Når en forsker søger penge til et videnskabeligt projekt eller ansættelse på et universitet, kan et enkelt tal være forskellen mellem succes eller fiasko – fx det såkaldte h-indeks. H-indekset er et udtryk for, hvor mange forskningsartikler forskeren har udgivet, og hvor mange gange de artikler er blevet citeret af andre forskere; jo højere h-indeks, jo større betydning har forskeren i det videnskabelige samfund. Problemet er bare, at det tal, der kommer ud af regnestykket, ikke giver så meget mening:

- Hvis forsker A udgiver 3 artikler, der bliver citeret 60 gange hver af andre forskere, så har hun et h-indeks på 3. Men forsker B, der i samme periode udgiver 10 artikler, som bliver citeret 11 gange hver, har et h-indeks på 10. Hvordan afgør vi, hvem der er den vigtigste forsker? Det giver h-indekset ikke noget meningsfuldt svar på, og slet ikke hvis de to forskere kommer fra to forskellige discipliner som fysik og filosofi, hvor forskerne har vidt forskellige traditioner for at udgive artikler. Skjuler det lavere h-indeks i virkeligheden den forsker, der leverer den bedste forskningskvalitet, spørger postdoc Lorna  Wildgaard fra Det Informationsvidenskabelige Akademi.

Lorna Wildgaard har netop forsvaret sin ph.d.-afhandling Measure Up! om de forskellige målemetoder, såkaldte bibliometriske indikatorer, som universiteter og forskere bruger for at kunne måle sig med hinanden. De fleste af de 114 forskellige indikatorer, hun har undersøgt, er faktisk uegnede til det, de bliver brugt til.

- Et af de store problemer er, at man med h-indekset og andre indikatorer forsøger at finde en gennemsnitsværdi, dvs. lave statistik, på de meget små mængder data, som en forskers artikler udgør. Og det kan man ganske enkelt ikke. Et andet problem er, at de fleste indikatorer slet ikke er udviklet til det, de bliver brugt til; de er oprindelig tænkt som matematiske modeller, som andre forskere skulle arbejde videre på, ikke færdige målemetoder til evaluering af forskere. Ikke desto mindre bliver de brugt flittigt i universitetsverdenen til netop evalueringer og målinger. Og h-indekset er på trods af dets store mangler blevet indarbejdet i bibliografiske databaser.

Favoriserer ældre forskere inden for særlige fag

De bibliometriske indikatorer, der rent faktisk er udviklet specifikt til evaluering, er typisk beregnet på én særlig forskningsdisciplin og kan ikke umiddelbart anvendes af forskere inden for andre discipliner. Fx er h-indekset oprindelig udviklet af fysikeren Jorge Hirsch i 2005 til at vurdere nobelpristageres videnskabelige indflydelse og andre højt profilerede fysikere med mange priser, artikler og citationer bag sig.  

- Men h-indekset bliver i dag brugt inden for mange forskellige discipliner og af mange yngre forskere, og så vil det uundgåeligt give et skævt billede, når de forsøger at bruge indekset på samme måde som fysikerne, siger Lorna Wildgaard, der understreger, at det samme problem gør sig gældende for mange af de andre indikatorer, og at det derfor altid er nødvendigt at se på den konkrete videnskabelige sammenhæng, som forskningen er blevet til i. For selv om h-indekset er blevet videreudviklet og forbedringer forslået, er det stadig Hirschs oprindelige model, der anvendes, på grund af dens simplicitet og gennemskuelighed.

For ensidigt kun at tælle artikler

Lorna Wildgaard afviser slet ikke, at de bibliometriske indikatorer kan være nyttige redskaber, men de må ikke have lov til at stå alene, for så bliver målingerne meget hurtigt til nogle meningsløse tal, som ikke siger noget særlig brugbart om forskernes betydning og rækkevidde.

- Jeg ser gerne, at man ud over bibliometri også begynder at arbejde med det, man kalder altmetrics, som er en måde at opgøre forskeres indflydelse på fx internettet og de sociale medier. Det kan handle om, hvor mange artikler der bliver downloadet fra forskerens hjemmeside, eller hvor gode de er til at dele deres data med andre. Eller om de laver podcast og wikis om deres forskning. Det kan sige meget om, hvor langt de kommer ud med deres forskning. Men hvis vi kun tæller artikler og citationer, får vi ikke den slags data med.

Om afhandlingen

Lorna Wildgaard har i forbindelse med sin afhandling Measure Up!: The extent author-level bibliometric indicators are appropriate measures of individual researcher performance undersøgt anvendeligheden af 114 forskellige bibliometriske indikatorer inden for de fire videnkskabelige discipliner astronomi, miljøvidenskab, filosofi og folkesundhedsvidenskab.

Afhandlingen er en del af EU-forskningsprojektet ACUMEN, som undersøger alle de måder, som forskeres akademiske arbejde bliver målt på.

Kontakt

Postdoc Lorna Elizabeth Wildgaard
Det Informationsvidenskabelige Akademi
Københavns Universitet
Mobil: 31 20 31 18
Mail: lorna.wildgaard@hum.ku.dk


Emner