Hodnocení výsledků vědy a výzkumu

Hodnocení výzkumných organizací a programů účelové podpory výzkumu, vývoje a inovací na základě Metodiky 17+

Od roku 2017 probíhá postupné zavádění nového systému hodnocení na základě Metodiky hodnocení výzkumných organizací a programů účelové podpory výzkumu, vývoje a inovací (Metodika 17+, M17+), podstatně se lišící od předchozího systému hodnocení a financování vědy a výzkumu v ČR na základě tzv. RIV bodů.

Hodnocení dle Metodiky 17+ nehodnotí pouze výstupy výzkumných organizací, ale i dopady jejich činnosti a výhled rozvoje do budoucna. Zohledňuje rozdílná poslání jednotlivých typů výzkumných organizací, bere zřetel na oborová specifika a výrazněji zahrnuje do procesu hodnocení informované a nezávislé peer-review a národní i mezinárodní kontext.

Nový systém hodnocení má ambici stát se komplexním nástrojem pro stimulaci rozvoje výzkumných organizací (VO) a zvyšování kvality a konkurenceschopnosti českého výzkumu, vývoje a inovací (VaVaI). Má sloužit jako zdroj informací o aktuálním stavu vědy v ČR. Jedním z cílů je i zvýšení efektivity veřejných prostředků vynakládaných na vědu v ČR.

Aktuální znění platné Metodiky 17+ naleznete zde či přímo na stránkách RVVI, kde je k dispozici i se všemi souvisejícími podklady a předpisy, které RVVI průběžně ve věci implementace M17+ přijímá na svých zasedáních (podrobněji viz Usnesení v sekci RVVI/ Zasedání).

Pozn.: Do hodnocení dle Metodiky 17+ vstupují výsledky obsažené v Rejstříku informací o výsledcích (RIV). Dále tedy probíhá každoroční odvod výsledků do databáze RIV a nutnost jejich správného zadání (viz pokyny zde).

Základní principy hodnocení vědy na základě Metodiky 17+

Tři různé úrovně hodnocení

Hodnocení dle Metodiky 17+ má poskytovat různě detailní informace využitelné na třech úrovních:

  • na centrální úrovni, tj. pro účely řízení a financování celého systému VaVaI v ČR (RVVI v součinnosti s Odborem RVVI na Úřadu vlády ČR)
  • na úrovni poskytovatelů (MŠMT v případě vysokých škol)
  • pro potřeby řízení výzkumné organizace (VŠ)

Rozdělení výzkumných organizací do tří segmentů

Hodnocení dle Metodiky 17+ zohledňuje různorodé poslání výzkumných organizací rozdělením VO do tří segmentů:

  • vysoké školy
  • ústavy Akademie věd České republiky
  • rezortní výzkumné organizace

Společný rámec pro posuzování kvality výzkumné organizace

Posuzování kvality výzkumných organizací se realizuje v pěti základních hodnoticích modulech: M1 – Kvalita vybraných výsledků, M2 – Výkonnost výzkumu, M3 – Společenská relevance, M4 –  Viabilita/Životaschopnost, M5 – Strategie a koncepce (podrobněji viz níže). Tyto moduly jsou pro všechny typy (segmenty) výzkumných organizací společné, relativní významnost jednotlivých modulů se však bude lišit podle postavení a mise výzkumné organizace.

V Modulech 1 a 2 probíhá hodnocení na centrální úrovni (RVVI), zatímco v Modulech 3 až 5 na úrovni poskytovatelů, tj. MŠMT v případě vysokých škol. Hodnocení v Modulech 3 až 5 pro segment vysokých škol popisuje Metodika hodnocení výzkumných organizací v segmentu vysokých škol dopracovaná MŠMT ve spolupráci s vysokými školami čekající na schválení Vládou ČR.

Tři základní nástroje hodnocení:

Hodnocení dle Metodiky 17+ kombinuje tři základní nástroje:

  • bibliometrická analýza
  • peer-review (posouzení hodnotiteli formou vzdálených recenzí a odborným panelem)
  • on-site visit (návštěva Mezinárodního evaluačního panelu na místě)

5letá periodicita hodnocení

V kompletní podobě (tj. hodnocení ve všech modulech) se bude hodnocení dle Metodiky 17+ opakovat vždy po 5 letech. První kompletní hodnocení má proběhnout v roce 2020. V mezidobí bude probíhat každoroční monitoring RVVI (Moduly 1 a 2).

V současné době končí tzv. implementační fáze (2017–2019), kdy hodnocení probíhá každoročně ve zjednodušené podobě (Moduly 1 a 2 – kombinace bibliometrických nástrojů a peer-review) s omezeným dopadem na financování jednotlivých VO.

Škálování výzkumných organizací

Výstupem kompletního hodnocení ve všech modulech 1x za 5 let bude škálování výzkumných organizací na stupnici A-D dle jejich kvality.

Principy financování vysokých škol dle Metodiky 17+

Z hlediska financování má hodnocení na základě Metodiky 17+ sloužit jako jeden z podkladů pro alokaci části veřejných prostředků určených na institucionální rozvoj výzkumné organizace – tzv. dlouhodobý koncepční rozvoj výzkumné organizace (DKRVO). DKRVO má dvě složky: stabilizační složku (rozpočtová základna) a motivační složku (minimálně v rozsahu daném meziročním nárůstem prostředků na DKRVO; např. pro rok 2019 schválen nárůst ve výši 10 % viz Příloha č. 3 Metodiky 17+, tabulka 2). Motivační složka bude rozdělována na základě hodnocení dle Metodiky 17+, přičemž konečné rozhodnutí o jejím rozdělení bude výlučně v pravomoci poskytovatele – tj. MŠMT v případě vysokých škol.

Základní hodnoticí moduly pro posouzení kvality výzkumných organizací dle Metodiky 17+ (Moduly 1 a 2) a Metodiky hodnocení VO v segmentu VŠ (Moduly 3 až 5):

MODUL 1 „KVALITA VYBRANÝCH VÝSLEDKŮ“

V rámci Modulu 1 jsou posuzovány vybrané výsledky přihlášené VO do jedné ze dvou odlišných kategorií: I. přínos k poznání v daném oboru (kategorie vhodná zejména, nikoli však výhradně, pro výsledky základního výzkumu) a II. společenská relevance (kategorie vhodná zejména pro aplikovaný výzkum) neboli význam výsledku pro společnost, ať už ve smyslu „užitečnosti“ (např. ekonomický zisk), nebo „potřebnosti“ (např. společenská objednávka).

Každý vybraný výsledek je hodnocen z hlediska originality a významnosti ve srovnání s mezinárodní úrovní (známky 1 až 5; viz kvalitativní stupnice níže) dvěma vzdálenými (zejména zahraničními) hodnotiteli a (liší-li se jejich známky) i oborově příslušným členem Odborného panelu se ustaveného pro každou ze základních oborových skupin OECD (FRASCATI Manual): Natural Sciences, Engineering and Technology, Medical and Health Science, Agricultural and Veterinary Science, Social Sciences, Humanities and the Arts.

Kvalitativní stupnice pro kategorii „přínos k poznání“:

(1) Výsledek, který je z hlediska originality, významu a obtížnosti získání na špičkové světové úrovni (world-leading).

(2) Výsledek, který je z hlediska originality, významu a obtížnosti získání na vynikající mezinárodní úrovni, ale nedosahuje nejvyšší úrovně excelence (excellent).

 (3) Výsledek, který je z hlediska originality, významu a obtížnosti získání mezinárodně uznávaný.

(4) Výsledek, který je z hlediska originality, významu a obtížnosti získání národně uznatelný.

(5) Výsledek, který nesplňuje standard národně uznatelné práce.

Kvalitativní stupnice pro kategorii „společenská relevance“:

(1) Výsledek na špičkové úrovni (world-leading), jehož využití v praxi přinese zásadní změnu s mezinárodním ekonomickým dopadem (reálný předpoklad širokého uplatnění na více zahraničních trzích atd.), nebo změnu s mimořádným dopadem mezinárodního charakteru na společnost (reálný předpoklad zásadního uplatnění na mezinárodní úrovni v oblastech veřejného zájmu).

(2) Výsledek na vynikající úrovni (excellent), jehož využití v praxi přinese změnu s mezinárodním ekonomickým dopadem (reálný předpoklad uplatnění na zahraničním trhu atd.), nebo změnu s významným dopadem na společnost (reálný předpoklad zásadního uplatnění v oblastech veřejného zájmu).

(3) Výsledek na velmi dobré úrovni, jehož využití v praxi přinese změnu s ekonomickým dopadem na českém trhu nebo změnu s dopadem na společnost (reálný předpoklad uplatnění v oblastech veřejného zájmu).

(4) Výsledek na průměrné úrovni, jehož využití v praxi přinese dílčí změnu s ekonomickým dopadem na českém trhu nebo dílčí změnu s dopadem na českou společnost (reálný předpoklad dílčího uplatnění v oblastech veřejného zájmu).

(5) Výsledek na podprůměrné úrovni, jehož využití v praxi pravděpodobně nepřinese žádnou změnu s ekonomickým dopadem ani změnu s dopadem na českou společnost (není reálný předpoklad uplatnění v oblastech veřejného zájmu).

MODUL 2 „VÝKONNOST VÝZKUMU“

V Modulu 2 se posuzuje celková výkonnost výzkumu a vývoje (kompletní produkce výsledků VO) pomocí mezinárodně uznávaných bibliometrických přístupů (konkrétní podobu bibliometrických analýz pro daný rok stanovují prováděcí předpisy vydávané RVVI.)

Do bibliometrických analýz vstupují výsledky indexované v citačních databázích Web of Science a Scopus, tj. výsledky typu Jimp, JSc a D (viz Definice druhů výsledků), rozdělené po oborech – používá se oborová struktura dle OECD (Frascati Manual), úroveň „FORD“, viz aktuální převodníky oborů schválené RVVI: Převodník FORD-WOS, Převodník FORD-Scopus.

Základními ukazateli pro hodnocení „bibliometrizovatelných“ výsledků jsou nyní AIS (Article Influence Score, WOS) a SJR (Scimago Journal Rank, Scopus) – ukazatele vytvářené na základě průměrného počtu citací článku uveřejněného v daném časopise za posledních 5 let (AIS), resp. 3 roky (SJR), beroucí v úvahu též kvalitu těchto citací (na rozdíl od známějšího IF). Na základě hodnoty AIS/SJR se časopisy (sborníky) rozdělí do kvalitativních pásem, vytvořených zvlášť pro každý obor FORD: I. decil (10 % „nejlepších“ periodik v oboru), I. kvartil (25 % „nejlepších“) až IV. kvartil (25 % „nejhorších“). Dalším používaným ukazatelem je medián udávající střední hodnotu AIS/SJR v daném oboru (světový medián oboru, národní medián oboru a medián oboru pro výzkumnou organizaci).

Pro potřeby velkého, kompletního hodnocení se v M2 počítá s použitím více indikátorů (v plánu jsou zejména analýzy na úroveň citačního dopadu článků). Také se postupně kumuluje množství výstupů vstupujících do hodnocení (v roce 2021 budou hodnoceny výstupy již za celých 5 předcházejících let).

Definice z materiálů RVVI:

Article Influence Score (AIS) reflektuje průměrný vliv článků v určitém časopisu v průběhu prvních pěti let po jejich zveřejnění v rámci databáze Web of Science. Odvozuje se z ukazatele Eigenfactor, vycházejícího z toho, kolikrát byly články z daného časopisu zveřejněné v posledních pěti letech citovány v databázi časopisů Journal Citation Reports (JCR), a odpovídá tedy zhruba pětiletému impakt faktoru časopisu (5-Year Journal Impact Factor). Eigenfactor ale navíc zohledňuje kvalitu časopisů, ze kterých tyto citace pocházejí – vysoce citované časopisy mají větší váhu než časopisy méně citované. (Odkazy z jednoho článku v časopisu na jiný článek v témže časopisu se nezapočítávají.) Hodnota AIS pak udává vliv časopisu normalizovaný v rámci databáze JCR. Hodnoty Eigenfactor (a tedy i AIS) jsou úměrné počtu článků publikovaných v daném časopise – pokud dva časopisy publikují stejně kvalitní články a první jich vydává dvakrát více, pak je i jeho Eigenfactor dvakrát větší než u druhého časopisu.

SCImago Journal Rank (SJR) udává průměrný počet vážených citací v rámci databáze Scopus, které získal daný článek za poslední tři roky. Kromě počtu citací se zohledňuje kvalita a prestiž zdrojů, ve kterých se citace objevily. K určení váhy se podobně jako u ukazatele AIS používá míra reflektující počet a kvalitu spojení daného citačního zdroje v rámci celé citační sítě.

MODUL 3 „SPOLEČENSKÁ RELEVANCE“

Předmětem hodnocení v rámci Modulu 3 je v obecné rovině míra pozitivních dopadů VaVaI a jejich výsledků na společnost a občany. Jedná se především o výsledky aplikovaného výzkumu, nicméně mohou sem spadat i výsledky základního výzkumu pozitivně ovlivňující jednotlivce a společnost nepřímo.

Hodnocení se bude opírat především o sebeevaluační zprávu, kterou každá hodnocená jednotka sama za sebe vypracuje. Jako hodnocená jednotka je v tomto modulu stanovena fakulta, příp. jiná relevantní součást VŠ. Sebeevaluační zpráva s dalšími podklady pak bude posouzena tzv. Mezinárodním evaluačním panelem (MEP), který alespoň jedenkrát hodnocenou VO a její součásti navštíví (on-site visit).

V Modulu 3 se uplatní kalibrace jednotlivých kritérií dle oborů FORD – v závislosti na oborových specifikách bude jednotlivým kritériím přiřazena odlišná váha. Každá hodnocená jednotka (fakulta) se pro účely kalibrace přihlásí k jedné oborové skupině.

Přehled kritérií hodnocených v Modulu 3:

  • společenský přínos (v obecné rovině)
  • projekty aplikovaného výzkumu (5 nejvýznamnějších projektů aplikovaného výzkumu, výnosy ze smluvního výzkumu, výnosy z neveřejných zdrojů)
  • výsledky aplikovaného výzkumu (s ekonomickým dopadem, s jiným než ekonomickým dopadem)
  • spolupráce s mimoakademickým prostředím a transfer technologií (popis nejvýznamnějších interakcí, systém a podpora transferu technologií a ochrany duševního vlastnictví, komercionalizace výsledků)
  • uznání výzkumnou komunitou (nejvýznamnější ocenění, účast v edičních radách mezinárodních časopisů, zvané přednášky, volená členství v odborných společnostech)
  • popularizace VaVaI (nejvýznamnější popularizační aktivity)

MODUL 4 „VIABILITA (ŽIVOTASCHOPNOST)“

V Modulu 4 se posuzuje kvalita řízení a vnitřních procesů VO (VŠ). Hodnocenou jednotkou je vysoká škola jako celek. Základním podkladem pro hodnocení v tomto modulu je sebeevaluační zpráva zpracovaná vysokou školou.

Přehled kritérií hodnocených v Modulu 4:

  • organizace, řízení a podpora VaVaI (organizační struktura, systémová opatření na podporu kvalitní vědy, pravidla využití institucionální podpory, strategie dlouhodobého rozvoje a udržitelnosti, ochrana duševního vlastnictví a transfer technologií)
  • doktorské studium (organizace, internacionalizace, kariéra absolventů, pravidla financování)
  • spolupráce a mobilita ve VaVaI (národní spolupráce, mezinárodní spolupráce, mobilita včetně sektorové a mezisektorové mobility, internacionalizace vnitřního prostředí)
  • lidské zdroje a kariéra ve VaVaI (systém kariérního růstu, systém hodnocení pracovníků a obsazování klíčových pozic, systém náboru z externího prostředí, struktura lidských zdrojů, genderová rovnost)
  • finanční zdroje pro VaVaI (struktura, podpora získávání zahraničních projektů)
  • formativní hodnocení a start-up strategie (systémy hodnocení výzkumných jednotek, podmínky pro vznik nových týmů a zavádění nových témat, nezávislá zpětná vazba pro VaVaI)
  • výzkumná infrastruktura (pořizování a obnova přístrojů a vybavení, sdílení přístrojů a vybavení)
  • dobrá praxe ve VaVaI (vnitřní pravidla a opatření, strategie pro Open Access, strategie pro Data management)

MODUL 5 „STRATEGIE A KONCEPCE“

Modul 5 navazuje na předcházející moduly, zejména Modul 4 a směřuje do budoucna. Cílem je posouzení kvality z různých hledisek formulovaných strategií vysoké školy pro její budoucí rozvoj. Hodnocenou jednotkou je tedy vysoká škola jako celek, pro účely hodnocení v tomto modulu zpracuje sebeevaluační zprávu.

Kritéria hodnocená v Modulu 5:

  • naplňování obecné mise organizace a vize do budoucna
  • výzkumné cíle a strategie pro období do dalšího hodnocení (přiměřenost a kvalita výzkumné strategie na základě potřeb společnosti/trhu)
  • vazba na plnění vyšších národních a nadnárodních strategických cílů
  • strategie a nástroje strategického řízení pro zvyšování konkurenceschopnosti
  • nástroje pro naplňování výzkumné strategie

Dosavadní výsledky hodnocení dle Metodiky 17+ (implementační fáze):

HODNOCENÍ 2017

  • 1. rok implementace Metodiky 17+
  • hodnocení výsledků uplatněných v roce 2016 v Modulech 1 a 2
  • Modul 1
    • V Modulu 1 se hodnotilo 10 % vybraných „nebibliometrizovatelných“ výsledků (tj. kromě typu Jimp, Jsc, D) přihlášených VO v roce 2017. Nejprve byly hodnoceny pouze výsledky dle kritéria „společenská relevance“ (cca 1500 výsledků; pro cca pro 4,5 % se nepodařilo zajistit adekvátní hodnotitele, tj. zůstaly „bez finální známky“). Výsledky jsou k dispozici zde ve formě přehledů pro oborové skupiny, shrnujících komentářů Odborných panelů a tabulky ke generování grafických profilů jednotlivých hodnocených výzkumných organizací. Výsledky přihlášené do hodnocení podle kritéria „přínos k poznání“ byly zhodnoceny spolu s výsledky uplatněnými v dalším roce (Hodnocení 2018). Kompletní výsledky hodnocení vybraných výsledků H17 a H18 za obory i výzkumné organizace jsou k dispozici zde.
  • Modul 2
    • Byla provedena bibliometrická analýza výsledků typu Jimp, Jsc a D na základě údajů z databází WOS a Scopus. Výsledky byly rozčleněny do kvalitativních pásem pro každý obor FORD – 1. decil, I. až IV. kvartil. Dále byla provedena oborová národní a mezinárodní srovnání na základě mediánu AIS. Výsledky hodnocení v Modulu 2 jsou k dispozici ve formě bibliometrických zpráv za obory (zpráva s komentářem pro obor 5.2 Economics and Business zde) a bibliometrických zpráv za výzkumné organizace
  • Závěrem Hodnocení 2017 bylo (na konci roku 2018) škálování VŠ (hodnocení A, B+, B, B- vzhledem k tomu, že se hodnotily výsledky pouze za 1 rok), které bylo výsledkem jednání tzv. tripartity: poskytovatele (MŠMT), RVVI a Odborných panelů. K dispozici je souhrnná tabulka pro poskytovatele .

HODNOCENÍ 2018

  • 2. rok implementace Metodiky 17+ 
  • hodnocení výsledků uplatněných v roce 2017 v Modulech 1 a 2
  • Modul 1:
    • Hodnotilo se 10 % vybraných „nebibliometrizovatelných“ výsledků (tj. výsledky kromě Jimp, Jsc, D) přihlášených VO v říjnu 2018.
    • Hodnotily se podle kritéria „společenská relevance“ i podle kritéria „přínos k poznání“. Výsledky jsou k dispozici ve formě souhrnných tabulek za VO (i včetně posudků), přehledů za obory a komentářů odborných panelů zde.
  • Modul 2:
    • Hodnocení proběhlo obdobně jako v Hodnocení 2017, jen detailněji (např. identifikace výsledků s počtem spoluautorů vyšším než 30, mezinárodní spolupráce na publikacích, doplnění mezinárodního srovnání o vybrané země – EU 15).
    • Kromě analýzy bibliometrizovatelných výsledků typu Jimp, Jsc a D uplatněných v roce 2017 má být provedena také kumulativní analýza bibliometrizovatelných výsledků uplatněných od roku 2016.
    • Výstupy hodnocení mají mít podobu jako v Hodnocení 2017: souhrnné oborové zprávy, souhrnné zprávy o výzkumných organizacích, souhrn pro poskytovatele - s tím, že budou doplněné o některé nové parametry.
    • Výsledky jsou zatím k dispozici pouze ve formě bibliometrických zpráv za obory a oborové skupiny (zprávy konkrétně pro obor 5.2 Economics and Business jsou k dispozici zde).

HODNOCENÍ 2019

  • 3. rok implementace Metodiky 17+ (výsledky zatím nejsou k dispozici)
  • hodnocení výsledků za období 2014–2018 v Modulech 1 a 2
  • Modul 1:
    • nově hodnocení vybraných výsledků všech typů, tj. lze přihlásit i výsledky typu Jimp, Jsc, D, s posílením o hodnocení oblasti aplikovaných a společenských a humanitních věd (dalších cca 5 % nebibliometrizovatelných výsledků roční produkce)
    • sběr nominací v říjnu 2019
  • Modul 2:
    • obdobně jako v předchozích letech (chybí bližší informace – prováděcí předpis)
    • výstupem by mimo jiné mělo být škálování VO (A až D)

Použité zdroje:

  • Metodika hodnocení výzkumných organizací a programů účelové podpory výzkumu, vývoje a inovací (M17+)
  • www.vyzkum.cz
  • www.vedavyzkum.cz
  • prezentace z konferencí Implementace M17+
  • prezentace Odboru výzkumu RMU

„Vědec nemusí nezbytně znát detaily hodnocení, ale soustředit se na dobrou vědu. Dobrá věda bude vždy dobře ohodnocena.“ (z prezentace RMU)

Metodika hodnocení výzkumných organizací a hodnocení programu účelové podpory výzkumu, vývoje a inovací (M17+)
Metodika zadávání výsledků do IS MU
Užitečné odkazy

Mgr. et Mgr. Nikol Zachovalová Barochová

koordinátorka pro vědu a výzkum
děkanát ESF, kancelář 209

telefon: 549 49 6292
e‑mail: