fredag 25 november 2016

Kvalitet ska inte mätas, den ska bedömas

Jag har länge intresserat mig för den lockelse som visar sig på olika sätt i många kulturella sammanhang, nämligen fallenheten att välja enkla lösningar på komplexa problem framför lösningar som bevisligen fungerar. Jag tror det var Niels Bohr som beskrev fenomenet först, fast jag vet inte och det spelar inte så stor roll egentligen, det viktiga är budskapet och det beskrivs genom en liknelse. Tänk på en som är på väg hem i mörkret och som inser att hen tappat sina nycklar. Lockelsen att leta under gatlyktan där det är ljust är stor och starkt, även om hen vet att nycklarna ligger någonstans där ute i mörkret. Det är helt enkelt lättare att leta där det går, än där svaret faktiskt finns. Särskilt klokt är det dock inte. Exemplen på detta sätt att tänka och agera i dagens samhälle är dock förfärande många, och det handlar inte om dumhet eller okunskap, utan just om lockelsen som enkla lösningar utgör (särskilt i ett samhälle där effektivitet och lönsamhet anses viktigare än något annat). Jakten på evighetsmaskinen är typexemplet som jag brukar använda för att beskriva lockelsen och dess olyckliga konsekvenser. Det är bevisat sedan länge att det är omöjligt att skapa ny energi ur ingenting, att få ut mer effekt än den energi som tillförs processen. Ändå hålls drömmen vid liv. Kulturen är fylld av liknande exempel. Problemet är att det är svårt att avgöra vad som är möjligt och omöjligt ifråga om kulturella uttryck och praktiker. Jag blir dock glad när jag läser vad Gustaf Nelhans (Fil dr i vetenskapsteori och universitetslektor i biblioteks- och informationsvetenskap, Högskolan i Borås) skriver i tidningen Curie, om lockelsen som ligger i systemen för bibliometriska mätningar av vetenskaplig kvalitet, och håller med om att akademisk kompetens och kunskapskvalitet ska bedömas av kvalificerade forskare och inte mätas eller räknas fram med hjälp av mer eller mindre pålitliga algoritmer.
Tidskrifters genomsnittliga citeringsgrad, så kallad Journal Impact Factor (JIF), som beräknas och redovisas av Clarivate analytics (tidigare Thomson Reuters, ISI) används ofta som ställföreträdande mått på forskningskvalitet av såväl forskare som företrädare vid de lärosäten de är verksamma. I det ena fallet kan det handla om att ranka sökande till en utlyst tjänst, i det andra handlar det kanske om att omfördela finansiella resurser baserat på publiceringsdata.
Begäret efter att sortera och rangordna, önskan att hitta den eller det bästa, är lätt att förstå. Viljan att veta är dock inte samma sak som att det faktiskt finns ett svar, eller att det svaret som finns fungerar på det sätt det var tänkt. Alla organisationer vill kunna visa att man inte anställer någon lättvindigt, och alla sökande till tjänsten vill vara den som rankas högst. Problemet är att verkligheten inte är komplicerad, vilken den måste vara för att rådande tankemodell ska fungera. Verkligheten är komplex, och komplexa problem kräver komplexa lösningar som aldrig kan vara enkla eller effektiva. Forskaren som söker tjänsten, kollegiet som är behov av fler anställda och ledningen för den aktuella organisationen är dels delar av samma helhet, dels är alla delar av helheten sammansatta. Även forskare behöver tak över huvudet och mat på bordet, trygghet och en viss känsla av kontroll och överblick. Det borde inte vara problematiskt att förstå och ta hänsyn till. Idag trängs dessa aspekter emellertid bort eftersom verkligheten inte riktigt går jämnt upp med viljan att visa upp en fläckfri fasad, eller önskan att lyckas i konkurrensen och det ekonomiska kravet på effektivitet. Som sagt, verkligheten är komplex och det måste även systemen för kvalitetssäkring och organisering vara om allt verkligen ska fungera och vara långsiktigt hållbart. Hur mycket man än vill, och hur många som än försöker, går det aldrig att få det omöjliga. Ändå är det just vad man försöker få i akademin idag. Man skulle kunna tro att vetenskapen stod över detta och anpassade sig efter kunskaperna som finns, men så är det inte, vilket bara visar att forskare är människor också. Betänk även att Sveriges mest ansedda och prestigefulla vetenskapliga institution, Karolinska Institutet, rekryterade och anställde Paulo Macciarini, inom och med utgångspunkt i nuvarande system för kvalitetsgranskning. Det är dock inte människorna det är fel på, utan det faktum att systemen som människorna är satta att verka i bygger på verklighetsfrämmande antaganden.
I detta inlägg ska jag ge några argument för varför enstaka mått på prestation är dåliga indikatorer på vetenskaplig kvalitet och varför JIF är ett synnerligen problematiskt exempel, men först vill jag slå fast att det inte är förvånande att sådana mått fått så stor betydelse när samhället genomsyras av krav på ansvarsskyldighet med nya revisorsfunktioner som institutionaliseras på alla nivåer i offentlig verksamhet. Detta i sig måste inte vara av ondo (vi vill ju veta att offentliga medel går till det de är till för) men det finns risk att fokus tas från verksamheternas verkliga syften. Skälen till att forskningsevaluering allt mer genomsyras av kvantitativa parametrar kan möjligtvis förklaras av en allt större arbetsbörda och ett accelererat tempo i akademin, men även av behoven att finna förment objektiva och i bästa fall icke påträngande mått på forskningen. Ett elakare argument kan vara att folk är lata eller inte kräver den tid för sakkunniggranskning som behövs för att göra ett gott arbete.
Kloka ord som torde vara svåra att ifrågasätta. Ändå fortsätter man på den inslagna vägen: Mer av samma införs trots att de önskade effekterna uteblir, eftersom man redan på förhand bestämt sig för vad som behövs och fungerar. Så tänker i alla fall jag, det är min erfarenhet från vardagen i akademin. Ingen har koll på eller ansvar för helheten. Utgångspunkten för arbetet och organiseringen är att vi har att göra med ett komplicerat problem, och av det antagandet följer att lösningarna kan delas upp i mindre och hanterbara enheter som löses för sig och sedan sätts samman till en helhet. Tagna var och en för sig fungerar nog lösningarna och metoderna, men när de sätts samman resulterar det i en dysfunktionell helhet. Hela utbildningssystemet lider av samma problem, och effekten blir att kontrollerna ökar, systemen blir fler och allt mer av tiden och resurserna går åt för att föda systemet med uppgifter som kan utvärderas, samtidigt som kunskapen och lärandet samt forskningen (vilket är svårkontrollerade, komplexa aspekter av helheten) sätts på undantag och effekten av detta syns bland annat i PISA-undersökningarna. Och när kunskapsresultaten faller finns inget annat att göra än att införa mer av samma, för alternativet vore att helt överge dagens system om införa ett helt nytt. Det skulle kosta alldeles för mycket pengar. Därför fortsätter man på den inslagna vägen, med motiveringen  att skattemedlen ska användas så effektivt som möjligt. Det gör de, effektiviteten är det inget fel på. Problemet är att effektivitet är det enda som dagens system är bra på. Verklig valuta för pengarna i form av högkvalitativ KUNSKAP får samhället inte idag, inte som systemet är riggat.
En typisk reaktion på denna situation kan ses i Andreas Dahlins debattinlägg här i Curie där han gav ett förslag om att forskare skall bedömas med ett tioårigt JIF-mått i stället för ett tvåårigt. Detta för att ett för kort intervall riskerar att påverka forskningen negativt och hämma nyskapande forskning. Men medan författaren påvisar viktiga ämnesspecifika problemställningar vad gäller användningen av citeringsdata för att bedöma forskningen väljer han att bortse från de mer grundläggande problemen med hur vi skall bedöma kvalitet och vad mått på tidskriftsgenomslag faktiskt mäter. För även om en tidskrift med högt JIF-värde publicerar artiklar med hög medelcitering så saknas empirisk grund att påstå att en enskild artikel publicerad i samma tidskrift kommer bli välciterad.[1]
Mätandet och jämförelsen är viktigare än den verkliga kvaliteten på innehållet. Den som påpekar att det finns ett problem idag tvingas komma med en färdig och bevisat fungerande lösning för att bli tagen på allvar. Därför kan problemen leva vidare, för sanningen är att det inte finns någon vattentät lösning som fungerar för ändamålet. Problemet ligger inbyggt i frågan. Först när vi förstår det och verkligen tar PROBLEMEN på allvar och dels undersöker verkligheten i hela sin komplexa vidd, dels anpassar systemen efter faktiska förhållanden, kan man börja hoppas på en vändning. Man kan drömma om det omöjliga, men att bygga en akademi (eller ett samhälle) på drömmar om hur det borde vara är galenskap och allt annat än ansvarsfullt hushållande med samhällets begränsade resurser. Samma problem finns i politiken idag, som mer handlar om att locka väljare än om att faktiskt stå för något och försöka driva igenom reformer som fungerar. Hur kan vi tillåta att våra folkvalda politiker nätmobbar varandra på arbetstid för att försöka öka det egna partiets chanser att vinna nästa val? Politiker ska förvalta samhället och stifta lagar samt ägna sin tid åt att driva opinion för lösningar och förslag man faktiskt tror på, inte stå i TV och smutskasta företrädare för andra partier. Och forskare ska forska, inte försöka vinna personliga fördelar på andras bekostnad. Det läggs på TOK för mycket tid och resurser idag på att försöka kontrollera det som är okontrollerbart. Kvalitetsarbetet handlar idag inte om KVALITET, utan om kontroll av olika saker som antas leda till kvalitet.
Per O. Seglen visade detta i en nu välkänd studie med 20 år på nacken, Why impact factors should not be used for evaluating research [2]. På den nordiska konferensen för bibliometri och forskningspolitik (NWB2016) visade Ronald Rousseau, Lin Zhang och Gunnar Sivertsen nyligen att de kunde bekräfta den studien med den totala mängden publicerade tidskriftsartiklar hos över 500 norska forskare. Korrelationen mellan tidskrifters JIF och enstaka artiklars citeringsgrad beräknades till 0,5 och ännu lägre om publiceringsdata gjordes jämförbar mellan olika ämnesområden (fältnormaliserades). Enligt gängse resonemang om korrelation (r2) kan man därför i praktiken säga att endast 25 procent eller i värsta fall så lite som 17 procent av variationen i citeringsgenomslag för forskarnas publicerade forskningsartiklar kunde förklaras av värdet på JIF för de tidskrifter som artiklarna publicerats i.
Okej, och då har man ändå bara rört själva citeringarna. Varför man citerar har inte diskuterats. Även om det var så att en citering faktiskt alltid betydde att man gav den forskare som citerades sin uppskattning så visar Nelhans och andras forskning att måttet inte är bra eftersom det inte mäter det man antar att det ska mäta. Inte ens på antagandets egna premisser går det att föra argumentationen i hamn. Sedan är det ju så att citerandet, även om det faktiskt gick att mäta, inte betyder någonting annat än att en forskare hänvisar till en annan forskares artikel. Det finns en hel rad olika anledningar till att man citerar, och kvalitet är bara ett av dem. När jag var doktorand var en av de allra mest citerade texterna en text som manlighetsforskarna älskade att hata och därför hänvisade till för att visa hur ovetenskapliga antagandena som gjordes i artikeln var. Sedan är det ju så att det som mäts och räknas kommer forskare som vill göra karriär att kunna manipulera med. Jag hörde på en av de vetenskapliga podcastprogrammen som jag följer att ett universitet i England ett år gick ner i antalet citeringar, och eftersom detta påverkade lärosätets tilldelning av statliga medel ägnades en stor del av nästföljande års resurser och fokus till att citera varandra och sätta upp fler som medförfattare för att på det sättet hyfsa SIFFRORNA. Jag skriver ofta om vördnaden inför siffror och dess nästan magiska övertalningsförmåga. Kvalitet är en sak, en högst komplex och svårbedömd sak, och siffror en helt annan. I den bästa av världar finns en tydlig korrelation mellan dessa saker, och där används också bara siffror som visat sig hålla för en vetenskaplig granskning som underlag för mätandet. Problemet är dock att vi lever i den värld vi lever i, och den är allt annat än perfekt. Vad är bäst, att förneka verkligheten och utgå från kattan, eller att göra tvärtom? (obs ironi).
Vidare beräknas redan ett femårsvärde för JIF för varje indexerad tidskrift i Journal Citation Reports (JCR), så alternativ till det mest kända tvååriga impactfaktormåttet finns redan. Dahlin hänvisar dessutom till ett föredrag av Eugene Garfield som uppfann JIF som ett mått för att bestämma vilka tidskrifter som skulle indexeras i Science citation index. Garfield diskuterar där olika tidslängder för att beräkna JIF (inklusive såväl fem- som tioåriga JIF-mått) men noterar att han i empiriska studier har visat att olika längd har liten betydelse för inomvetenskapliga jämförelser av tidskrifter. Frågan är dock varför det skall vara ett femårsmått eller tioårsmått och varför inte 11 ¾ år? Kanske borde måttet beräknas utifrån respektive ämnes ”snabbhet” på något annat sätt? Även sådana mått beräknas och finns tillgängliga i JCR. ”Immediacy index”, ”cited half-life” och en rad andra variabler redovisas för varje tidskrift och dessa skulle ju kunna användas för att på analytisk väg optimera just den specifika tidskriftens optimala JIF-mått.
Som i så många andra fall verkar debattörerna ha glömt en liten detalj i sammanhanget, det vill säga att grundantagandet för hela resonemanget är fel. Varifrån kommer idén om att man ska MÄTA forskningens kvalitet? Vad är poängen? Ingen skulle komma på tanken att mäta skönlitterära författares kompetens eller kvaliteten i texterna som skrivs utifrån antalet texter eller ord. Ska man, som Dahlin gör, diskutera MÅTTET som används borde man i vetenskapens namn först diskutera vad det är som mäts. Jag har inte läst hans artikel, men det verkar som han anser att det mått som idag används för att mäta kvalitet missgynnar hans ämne på något sätt. Fast tänker man så handlar kritiken endast om rättvisa, inte om kvalitet. Och den så kallade rättvisan handlar inte om innehållet i artiklarna som skrivs utan om tilldelningen av forskningsmedel. Jag förstår att JIF-måttet är anpassat efter respektive ämnes kunskapskaraktär, men det är fortfarande så att en och samma modell används över hela linjen. Inom kulturvetenskapen citerar man inte på samt sätt som man gör inom naturvetenskapen. Jag leder inget i bevis när jag forskar, för det jag forskar om är förutsättningar för förändring. Min forskning handlar ofta om att presentera ett antal tolkningar av ett fenomen, och det viktiga utifrån kvalitetshänseende är inte vilket genomslag mina texter får bland andra forskare, utan hur många som läser artikeln och reflekterar över innehållet. Forskar man om celler eller väderfenomen och andra liknade saker kan genomslaget och spridningen inom ämnet vara ett mått som fungerar, men kulturforskarens genomslag bland kollegorna gör hen möjligen mer känd och ansedd, och det leder kanske till att man blir tillfrågad att tala på konferenser, men det betyder inte att forskningsresultaten självklart når dem de berör: Allmänheten som skapar och påverkar förhållandena som kulturvetare forskar om. Hur mäter man det genomslaget? Antalet klick på nätet? Ibland är det slumpen som styr vad som når ut och påverkar, och det finns även gott om forskning som borde nå ut och som om den faktiskt påverkade skulle göra samhället bättre och mer hållbart, men som anses för svår, tråkig eller obegriplig. Vad man väljer att citera i sina artiklar är allt annat än självklart och den forskare som faller i onåd av någon anledning bland kollegorna kan komma att mobbas ut genom att inte bli citerad.
Men det inte i metodologiska resonemang som problemet ligger utan i att JIF är ett väldigt smalt och imprecist mått för att mäta forskningsprestationer över huvud taget. Måttet anger som sagt endast tidskriftens genomsnittliga citeringsgenomslag.
En annan sak, vem är det som citeras egentligen om artikeln har 15 författare, varav någon bara har bidragit med lokaler eller står med för att hen har jobbat upp ett anseende inom ämnet och kan diktera villkoren? Det finns enormt många frågor, men väldigt få svar. Och som Nelhans förtjänstfullt visar så är inte ens svaren som faktiskt finns några bra svar. Ändå fortsätter MÄTANDET av kvalitet i akademin. Varför? Eftersom det handlar om forskningsresultat borde man kunna ställa ännu högre krav på vetenskaplighet i argumentationen som ligger till grund för beslutet som leder till att man mäter det man mäter.
Frågan om hur forskning skall bedömas måste lyftas till en helt annan nivå, nämligen till forskarsamhällets eget sätt att bedöma kvalitet. Att listan över publikationer enligt Dahlin är den viktigaste kvalitetsmätaren i vissa forskningsområden är inte publiceringslistans fel, utan ett kollektivt ansvar hos såväl forskarsamhälle som våra institutioner. Om vi är missnöjda med det sätt som forskning bedöms så måste vi börja med att ändra våra egna praktiker, inte vänta sig att någon annan skall göra det oss. Det är också ofta forskare själva som drar in JIF eller andra lika problematiska mått som H-index eller hemmagjorda konstruktioner i sina bedömaruppdrag. Detta kallas citizen bibliometrics, men skulle lika gärna kunna gå under beteckningen ”do-it-yourself-bibliometri”.

Det är ett allvarligt problem att det saknas tid och intresse att göra det viktiga granskningsarbetet, men lösningen kan knappast vara att amatörmässigt lämna över det viktiga ansvaret att bedöma forskning till hemmasnickrade beräkningsmodeller som inte ens tillnärmelsevis mäter vad de avser mäta.
Jag har läst utlåtanden över forskare som antagits som docenter och sett hur granskare använder resonemang som ANTALET artiklar, citeringar eller annat. Det kan stå att den sökande har dragit in si eller så mycket PENGAR. Och på disputationer där avhandlingen som diskuteras är en sammanläggningsavhandling talas det allt oftare oftare om hur många artiklar som PUBLICERATS och vilka tidskrifter som antagit artiklarna, som om det i sig är ett kvalitetsmått. Vad är poängen med att anlita en granskare som granskar saker som vem som helst kan se och räkna på. Vem granskar granskarna (de två anonyma reviewers som kommenterar texterna innan de publiceras) på vars axlar hela den akademiska världens forskningskvalitet vilar på? Och varför är det inte mer meriterande att utföra sådana uppdrag? Det finns ingen tid i tjänsten för det och man får varken betalt för uppgiften eller kan nämna den i något annat sammanhang än sin egen CV. Hela den infrastruktur som byggts upp för att garantera kvalitet vilar alltså på en högst bräcklig grund, förutom det faktum att det som mäts inte säger särskilt mycket om innehållets verkliga kvalitet och forskningsresultatens faktiska användbarhet.
Så hur skall då vetenskaplig kvalitet mätas? Den frågan är lätt att besvara. Svaret är förstås att den inte skall mätas alls, utan bedömas. Bibliometriska mått kan vara mycket användbara indikatorer för detta arbete, men de skall användas på ett förnuftigt sätt. Det innebär att de aldrig skall användas som enda bedömningsgrund och inte universellt utan på ett sätt där hänsyn tas till forskningens ämnesmässiga och lokala variationer. Vidare skall måtten användas på ett transparent sätt så att den som blir värderad kan ta del av och korrigera eventuella felaktigheter eller snedfördelningar i bedömningsunderlaget. För att den statistiska validiteten skall kunna säkerställas måste det finnas ett tillräckligt underlag för att kunna utföra beräkningarna. Sammanfattningsvis skall bibliometriska mått inte användas på ett mekaniskt sätt för att rangordna forskning, utan just som ett komplement till kollegial granskning av innehållet i den forskning som skall värderas.
Tack Gustaf Nelhans! Vetenskapens avintellektualisering måste stoppas och alla pseudovetenskapliga inslag och värdelösa mått på kvalitet avskaffas, omgående. Och när vi ändå är igång bör det arbetet sträckas ut och omfatta hela utbildningssystemet. Idag fokuseras på tok för mycket på betyg och mätningar, ranking och andra mått som bara handlar om att sortera, inte om bedömning av verklig kunskapskvalitet. Konsekvensen blir att skolan öppnas upp för oseriösa aktörer som använder det förment objektiva kvalitetssäkringssystemet för egna syften, som inte har något alls med kunskap eller kvalitet att göra. Alla oseriösa tidskrifter som tar betalt för att publicera texter som genomgått oseriös granskning, och även alla seriösa tidskrifter som poppar upp som svampar ur jorden för att tillgodose forskarnas behov av publicerade artiklar, snarare än samhällets behov av kunskap, högkvalitativ kunskap, vilka konsekvenser får detta för förutsättningarna att bedriva seriös och viktig forskning vars innehåll och resultat faktiskt betyder något för samhället som investerar skattemedel i verksamheten? Galenskapen måste omgående stoppas. Kunskapen och kvaliteten måste placeras i centrum, istället för metoderna att "mäta" kunskap och kvalitet. Som titeln på Nelhans artikel säger: Kvalitet ska BEDÖMAS, inte mätas!

Utbildningssystemets allra viktigaste uppdrag är att främja utvecklingen av bedömningskompetens och den handlar inte om att lära sig räkna ut medel- eller meritvärdet på olika typer av betyg, inte om att jämföra storleken på landade forskningsanslag, räkna antalet artiklar eller citeringar, utan om att faktiskt studera INNEHÅLLET i texterna som läggs fram för granskning. Det är visserligen en komplex och inte särskilt objektiv uppgift, men den är anpassad efter underlaget som ska granskas. Och, vilket är viktigare, en kvalitativ innehållsbedömning ger inte sken av att vara objektiv. Det är en transparent verksamhet som aldrig landar i ett definitivt utlåtande som kan användas av någon annan, någon annanstans, för andra syften. Idag lever vi i ett kontroll- och mätsamhälle, som Nelhans förtjänstfullt dekonstruerar grunden för. Är det viktig kunskap och verklig kvalitet vi faktiskt vill ha måste vi sluta drömma och engagera oss i det som verkligen betyder något. Vi måste sluta MÄTA saker som inte går att mäta och börja BEDÖMA kunskap och kvalitet istället. Först då kan man börja hoppas på att kunskapsraset i den svenska skolans kan stoppas och utvecklingen vända. Det finns inga enkla lösningar på så pass komplexa problem som kvalitet och kunskap. Om inte ens forskarsamhället förstår detta och erkänner misstaget, hur ska resten av samhället kunna följa efter?

Det talas allt oftare om att vi idag lever i ett tillstånd efter sanningen. Vad som är hönan och ägget är så klart svårt att uttala sig om, men om metoderna som används i akademin för att avgöra vad som är och vem som producerar verklig, vetenskaplig kvalitet, är ovetenskaplig, hur ska politikerna och allmänheten då kunna avgöra frågan? Handlar det om en eftergift för ekonomins inneboende krav på effektivitet och lönsamhet är det bättre att lägga ner akademin. Jag menar, om resultatet av lärarnas och forskarnas arbete ändå bara handlar om att avgöra vem som är bäst, (på vad, till vad, och framförallt varför?), om skolan och utbildningen ändå bara handlar om att ge betyg och utfärda examina, varför då inte lägga ut det arbetet på entreprenad och upphandla tjänsten i konkurrens, till lägsta möjliga pris? Varför ge sken av att kunskapen och kvaliteten står i centrum, när det finns gedigen forskning som pekar på motsatsen? Ett samhälle byggt på självbedrägeri kan vara ekonomiskt framgångsrikt, men det är inte hållbart. Vad händer med kunskapen och den vetenskapliga kvaliteten när makten över kunskapen, med stöd och ivrig lobbyverksamhet från Svenskt Näringsliv, allt mer flyttas från kollegiet bestående av forskare till linjen där det är helt andra egenskaper och kompetenser som efterfrågas? Det är på allvar nu! USA har valt en klimatskeptiker som byggde sin smutsiga valrörelse på lögner till president. Makten övertrumfar kunskapen alla dagar i veckan, även utan ovetenskapliga metoder för mätning av kvalitet och "bedömning" av kunskapsvärde. Nelhans lutar sig mot gedigna forskningsresultat och han lobbar inte för någon egen lösning. Han pekar i sin artikel på ett allvarligt problem och visar på fatala svagheter i själva det fundament som akademin och ytterst hela samhället vilar på. Detta är på allvar!
Detta är inte bara min enskilda åsikt, utan ett sammandrag av den samlade kompetensen hos en stor andel av den bibliometriska expertisen i världen. Några källor till detta är det så kallade ”Leidenmanifestet” som vunnit genklang i hela vetenskapsstudiefältet, den stora genomgången av forskningsläget ”The Metric Tide”, som låg till grund till att inslaget av bibliometri inte ökade i det brittiska REF-systemet, samt förslaget till riktlinjer för utvärderande bibliometri i Sverige från SUHF:s forum för bibliotekschefers arbetsgrupp för bibliometri och Vetenskapsrådets riktlinjer för användning av bibliometri. Den bibliometriska expertisen är entydig.

Frågan är hur länge amatörmässighet kommer att prägla forskningsevaluering inom akademin.
Bara forskare kan och ska bedöma vetenskaplig kvalitet, och det tar tid och kostar pengar. Man får vad man betalar för och om formen blir viktigare än innehållet förlorar forskarna makten och inflytandet över både forskningen och resultaten av arbetet. Då har vi flyttat oss från kunskapssamhället till ett samhälle efter sanningen, vilket innebär att utbildning är slöseri med tid och resurser och pengar är allt. Populism blir vardag och nätets kommentatorsfält blir en lika legitim remissinstans som akademin. Det är en skrämmande utveckling som pågår mitt framför ögonen på oss alla. Forskarna reduceras till ett slags utförare av tjänster som beställs av andra, utan hänsyn till genomförbarhet och konsekvenser. Utbudet av artiklar i alla upptänkliga ämnen gör att oseriösa beslutsfattare och lobbygrupperningar kan finna stöd för snart sagt allt, och när kompetensen att bedöma rimligheten i underlagen utarmats ligger fältet fritt för con artists som Paulo Macciarini. Forskning förvandlas i samma stund till något annat, oklart vad. Men så mycket är säkert, att de som sökt sig till akademin och som drömt om att göra en FORSKARkarriär byggd på en gedigen grund av KUNSKAP, de kommer troligen att söka sig någon annanstans. Vart då? Jag tar tacksamt emot tips på vart jag skulle kunna söka mig för att få chansen att fokusera på och arbeta med det jag utbildats för: Forskning, lärande, kritiskt tänkande och verklig bedömning av kvalitet. Min anställning på högskolan handlar allt mer och allt tydligare om annat. Jag känner mig faktiskt lurad, men finner trots allt hopp i Nelhans tankar.
[1] Bibliometriska data är nämligen extremt snedfördelade och många ”lagar” som beskriver vetenskaplig publicering eller citering följer en exponentiell fördelning eller den sk ”paretoprincipen”. Den senare användes från början för urvalet till det ursprungliga citeringsindexet av Garfield som hävdade att han genom att indexera 20 % viktigaste (mest välciterade) tidskrifterna skulle täcka 80 % av citeringarna i fältet. JIF kom därför att utgöra ett viktigt beräkningsmått för att välja vilka tidskrifter som skulle tas med, men Garfield har sedan starten varit starkt kritisk till att använda måttet för bedömning av individuell prestation.

[2] Why impact factors should not be used for evaluating research Per O Seglen, BMJ;314:498-502

Inga kommentarer: