Úvodní stránka » Archiv čísel » Články 02_2015 » Bibliometrie

Bibliometrie jako nástroj hodnocení programů výzkumu a vývoje v České republice

Vladislav Čadil

Bibliometrics as a Tool for R&D Programmes Evaluation in the Czech Republic

Abstrakt

Cílem tohoto článku je představit bibiometrii, obor založený na kvantitativní analýze vědeckých publikací, jako jeden z možných nástrojů pro evaluaci programů výzkumu a vývoje. Dále poukazuje na stávající slabiny využití bibliometrie a navrhuje možné využití bibliometrie pro hodnocení programů výzkumu a vývoje implementovaných v České republice. Bibliometrie je široce využívána pro hodnocení produkce a kvality výzkumu, spolupráce a transferu znalostí. Je vhodným podkladem pro peer review hodnocení a současně je využívána pro validaci výsledků této metody. Výhodou aplikace bibliometrie je relativně nízká cena, rychlost hodnocení a možnost zobecnění. Nevýhodou však jsou značné rozdíly mezi obory v publikační a citační praxi, což znesnadňuje hodnocení aplikovaného výzkumu a humanitních oborů. V ČR dosud nebyla bibliometrie pro hodnocení programů využívána, avšak ze zahraničních praxí je zřejmé, že je vhodným nástrojem pro ex-post hodnocení a hodnocení vědeckých dopadů. Článek navrhuje možné ukazatele, které by mohly být využity pro hodnocení programů v ČR.

Abstract

The aim of this article is to introduce bibliometrics, a field based on quantitative analysis of scientific publications, as a tool for research programmes evaluation. It points out weaknesses of bibiometrics and proposes potential use of bibliometrics for evaluation of research programmes implemented in the Czech Republic. Bibliometrics is widely used for evaluation of production and quality of research, co-operation and knowledge transfer. It is a valuable basis for peer review evaluation and for validation of peer review evaluation outputs. The strengths of the application of bibliometrics consist in relatively low cost, short time needed for evaluation and the possibility of generalization. Weaknesses are huge differences among scientific fields in terms of their publication and citation praxis limiting evaluation of applied research and humanities. In the Czech Republic, the bibliometric evaluation has not been applied yet, nevertheless, foreign practices show that bibliometrics is a useful tool for ex-post and impact evaluations. The article proposes possible indicators, which could be used for programmes evaluations in the Czech Republic.

Klíčová slova

Bibliometrie, evaluace programů, hodnotící ukazatel

Keywords

Bibliometrics, programmes evaluation, evaluation indicators

1. Úvod

Bibliometrie je oborem založeným na kvantitativní analýze vědeckých publikací. Široce se využívaná v evaluacích výzkumu a vývoje (VaV) na všech úrovních – od úrovně výzkumníka, přes výzkumné týmy, výzkumné organizace, programy na podporu VaV, vědní politiky až po mezinárodní porovnávání. Bibliometrie je součástí scientometrie, která se zabývá studiem kvantitativních znaků a charakteristik vědy, vědeckého výzkumu a vědecké komunikace.

Rozvoj a využití bibliometrie souvisí se vzrůstajícím významem, poptávkou po kvantitativních informacích o úspěšnosti a dopadech výzkumných aktivit. Nejčastěji se bibliometrie aplikuje pro hodnocení základního výzkumu, avšak je využitelná i v případě aplikovaného výzkumu, pokud jedním z jeho výsledků jsou publikace (Hicks, Melkers 2012). Bibliometrie se pro hodnocení VaV používá zhruba od šedesátých let 20. století. Její velký rozvoj nastal zejména v osmdesátých letech v souvislosti s rozvojem výpočetní techniky. Pro hodnocení programů VaV začala být bibliometrie využívána od počátku 90. let v USA (Narin a Hamilton 1996) a postupně se stala standardním nástrojem pro hodnocení programů (ESF 2009).

V ČR je problematice bibliometrie a jejímu využití pro hodnocení VaV zatím věnována poměrně malá pozornost. Ze stávajících českých prací lze na tomto místě zmínit zejména hodnocení české účasti ve výzkumných programech EU (Albrecht a Vaněček 2008, Pecha a Perutková 2013, Vavříková 2015), hodnocení oborů (Basl, Münich a Sidorkin 2009, Kouba 2011, Skovajsa 2014) či práce týkající se obecných a metodologických otázek (Arltová 2010, Špála 2006). V souvislosti s připravovanou metodikou hodnocení výzkumných organizací, která navrhuje využít bibliometrii pro vytvoření podkladů pro jednání expertních skupin (Arnold et al. 2015), lze v ČR očekávat zvýšení zájmu o bibliometrii a následný rozvoj tohoto oboru. Bibliometrie bude pravděpodobně využívána i pro hodnocení programů VaV. V prvé řadě lze očekávat její využití pro hodnocení dosažení cílů a dopadů prioritních os 1 a 2 Operačního programu Výzkum a vývoj pro inovace 2007–2013 i nového Operačního programu Výzkum, vývoj a vzdělávání 2014–2020.

V této souvislosti je v ČR vhodné začít se zabývat problematikou využití bibliometrie pro hodnocení programů VaV. Otázkou je, co lze pomocí bibliometrie hodnotit, jaké ukazatele zvolit a jaké datové zdroje využít. Cílem tohoto příspěvku je iniciovat diskusi o využití bibliometrie pro hodnocení programů VaV v ČR a následný výzkum vhodných metod. Klade si tři dílčí cíle: (i.) představit bibiometrii jako jeden z možných nástrojů pro evaluaci programů VaV, (ii.) poukázat na stávající slabiny využití bibliometrie a (iii.) navrhnout možné využití bibliometrie pro hodnocení programů VaV implementovaných v ČR.

Příspěvek vychází z rešerše zahraniční odborné literatury věnující se jak obecně problematice bibliometrie, tak také jejího využití pro evaluaci programů, národních politik výzkumu, vývoje a inovací a výzkumných organizací. V neposlední řadě je výsledkem autorovy osobní zkušenosti s hodnocení programů v ČR (např. hodnocení programů Národního programu výzkumu I a II, programů mezinárodní spolupráce KONTAKT, EUPRO, EUREKA, INGO a COST).

2. Metody pro hodnocení programů výzkumu a vývoje

Při hodnocení programů VaV v zemích s vyspělou evaluační kulturou v oblasti VaV (jedná se především o Velkou Británii, Nizozemsko, Norsko, Švédsko, Finsko, Německo, Rakousko, USA, Japonsko a Austrálii) převládá kombinace kvalitativních a kvantitativních metod. Kvantitativními metodami se zpracovávají statistická data, informace z databáze publikačních výstupů (např. Thomson Reuters Web of Science, Elsevier SCOPUS), údaje patentových úřadů a výsledky statistických šetření. Základem jsou indikátory popisující specifické aspekty VaV. Ty mohou být scientometrické nebo technometrické. Scientometrické indikátory jsou založeny na počtech publikačních výstupů a jejich odezvách (citacích). Technometrické indikátory charakterizující průmyslové vlastnictví (např. počty patentů, užitných vzorů, výrobních postupů, softwarových řešení apod.) (Vondrák, Čadil 2010). Z kvantitativních metod se nejčastěji využívají deskriptivní a komparativní statistické a bibliometrické analýzy,
které představují základní součást každého hodnocení a používají se ke kvantitativnímu vyhodnocení výstupů a výsledků programů, analýze trendů a kauzality.

Kvalitativní metody hodnocení programů VaV jsou založeny na posudcích a názorech odborníků v daných oborech VaV nebo širšího spektra zástupců sféry intenzivně využívajících výsledky VaV. Nejčastěji používanými kvalitativními metodami jsou strukturované rozhovory, informovaná peer review, dotazníková šetření a případové studie. Jejich využití spočívá mj. v interpretaci informací získaných kvantitativními metodami, kde mohou identifikovat a logicky vysvětlit příčinné souvislosti, vzájemné vazby a dopady, které nejsou postižitelné kvantitativním hodnocením.

Obě skupiny metod mají svá omezení. Nevýhoda využití kvantitativních metod obecně spočívá v nutnosti sledovaný jev kvantitativně vyjádřit, tedy jeho podstatu vystihnout vhodným kvantitativním ukazatelem a správně určit jeho hodnoty. Slabina využití kvalitativních metod spočívá ve skutečnosti, že získané informace nemusí být zobecnitelné a jednoznačné, je obtížné provádět kvantitativní predikce, testovat hypotézy, sběr a analýza dat jsou časově náročné, výsledky mohou být ovlivněny osobními preferencemi hodnotitelů apod.

Výběr a využití vhodných metod se odvíjí zejména od formulování cíle hodnocení, formy hodnocení (formativní – spíše kvalitativní metody, sumativní – kvantitativní metody) a druhu hodnocení. Při ex-ante hodnocení programů VaV převládá kvalitativní přístup (zejména peer review). V interim hodnocení programů VaV se kvantitativní a kvalitativní metody různě kombinují podle zaměření hodnocení. Ex-post hodnocení programů VaV a hodnocení dopadů také kombinuje tyto dvě základní skupiny metod, přičemž kvantitativní metody mohou převládat (European Commission 2006). Dále je výběr metod ovlivněn dostupnými finančními, personálními a časovými zdroji, dostupností vhodných dat apod.

Pro využití bibliometrie jako nástroje pro hodnocení programů v současné době panuje shoda, že je vhodným podkladem pro peer review hodnocení (ESF 2009, Moed 2005). Pro toto hodnocení nabízí relativně objektivní data, která mohou být získána, aniž by hodnocení výzkumníci byli zatěžováni přípravou nějakých podkladů a sebeevaluačních zpráv. Další výhoda spočívá v nižších nákladech na hodnocení (pokud je ovšem zajištěn přístup k bibliometrickým databázím).

Využití bibliometrické analýzy omezuje dvě hlavní slabiny peer review hodnocení. Za prvé výsledky bibliometrické analýzy mohou omezit nereálné výsledky peer review hodnocení a následně sloužit pro validaci výsledků tohoto hodnocení (v takovém případě hovoříme o triangulaci, tj. o křížové kontrole informací). Za druhé může být zvláště užitečné při analýzách, do kterých vstupuje řada faktorů, které není možné detailně postihnout peer review hodnocením (Moed 2005).

3. Základní bibliometrické ukazatele

Podle Narin a Hamilton (1996) lze bibliometrii použít pro hodnocení čtyř základních charakteristik VaV:

• Aktivita výzkumu – v tomto smyslu se aktivita chápe jako produkce a hodnotí se dle počtu publikací v daném vědním oboru.
• Transfer znalostí – proces citování je vnímán ve smyslu předávání znalostí ve vědecké komunitě.
• Spolupráce – zahrnuje hodnocení vazeb uvnitř skupin výzkumníků, výzkumných organizací a vědních oborů.
• Kvalita – hodnocena na základě citační analýzy, která je vnímána jako zástupce pro hodnocení kvality výstupů.

Základním bibliometrickým ukazatelem je počet publikací, resp. recenzovaných odborných článků publikovaných v recenzovaných vědeckých časopisech. Stávající Metodika hodnocení výzkumných organizací a ukončených programů (RVVI 2013) je definuje jako: „původní, případně přehledový článek zveřejněný v odborném periodiku bez ohledu na stát vydavatele, který prezentuje původní výsledky výzkumu, a který byl uskutečněn autorem nebo týmem, jehož byl autor členem. Jedná se o ucelené texty prací s členěním podle požadavků vydavatele periodika na strukturu vědecké práce s obvyklým způsobem citování zdrojů, eventuálně s poznámkovým aparátem.“ Využívá se pro hodnocení objemu výstupů vědeckých aktivit. Jeho využití se opírá o skutečnost, že články jsou hlavním komunikačním kanálem, kterým se šíří vytvořené znalosti dalším výzkumníkům a potenciálním uživatelům z aplikační sféry. Články pomáhají šířit znalosti dvěma způsoby. Za prvé sdělují, čeho bylo v rámci vědeckých aktivit dosaženo, a za druhé ukazují další možný směr výzkumných aktivit (Hicks, Melkers 2012).

Při evaluacích se počet článků obvykle vztahuje k výzkumným skupinám, výzkumným organizacím, vědním oborům, zemím či programům. Avšak nikdy se nevyužívá samostatně, ale spolu s dalšími bibliometrickými ukazateli a kvalitativními metodami. Slabou stránkou tohoto ukazatele je různorodost publikačních zvyklostí jednotlivých oborů. Dle expertní komise EK (2010), která mapovala publikační výstupy u hlavních vědních oborů, jsou články v odborných časopisech dominantní formou v přírodovědných a lékařských oborech. V technických oborech jsou hlavní formou publikování příspěvky ve sbornících z konferencí a články v odborných časopisech. V humanitních a společenských oborech se převážně publikuje formou monografií. 

Přestože bibliometrické databáze pokrývají i odborné knihy a konferenční sborníky, míra pokrytí těchto forem výstupů je dosud poměrně nízká pro reprezentativní hodnocení v případě některých oborů. Liší se i vytvořený počet publikací (např. v lékařských oborech se publikuje častěji než v technických) a počet citovaných prací (zejména u nových a multidisciplinárních oborů je počet citovaných prací nízký). Z těchto důvodů je třeba k bibliometrické analýze založené pouze na článcích přistupovat obezřetně. Vhodné je sledovat i počet jiných forem výstupů.

Přestože je hlavním nedostatkem tohoto ukazatele omezená informace o kvalitě výsledku, bývá někdy využíván jako zástupce pro hodnocení kvality výstupů, protože mezi počtem článků a výsledky peer review bývá silná korelace (Ismail, Nason, Marjanovic a Grant 2009). V takovém případě se pro hodnocení kvality článku využívá kvalita časopisu (hodnoceném dle tzv. impakt faktoru či ukazatele SNP – viz níže), ve kterém byl článek publikován. Nicméně i tento ukazatel má svá omezení. Impakt faktory jsou totiž ovlivněny různými formálními aspekty, které se nevztahují ke kvalitě časopisu. Impakt faktor je navíc oborově specifický. Nejvyšších hodnot dosahuje impakt faktor u rychle se rozvíjejících oborů základního výzkumu (Seglen 1997).

Samotný počet publikací ukazuje jen zvýšení počtu výstupů. Mnoho evaluací programů sleduje také vytváření spoluautorských teamů. Už jen z toho důvodu, že rozvoj spolupráce může být jedním z cílů programu. Podle spoluautorství lze sledovat multidisciplinaritu, mezinárodní a mezipracovištní spolupráci. Slabinou hodnocení spolupráce na základě spoluautorství je, že spolupráce je komplexním jevem, který může nastat různými způsoby (Melin 1996). Spolupráce na článku je totiž pouze jednou z forem spolupráce. Současně spoluautorství nemusí být nezbytně ukazatelem přímé spolupráce. To je případ zejména článků, na nichž se podílely stovky autorů (např. v kvantové fyzice). Jednotliví autoři takového článku nemuseli přímo spolupracovat, ačkoliv svým způsobem přispěli k vytvoření společného díla.

Zatímco počet publikací měří výstup, počet citací se chápe jako základní ukazatel pro hodnocení vědeckému dopadu či vědeckého přínosu. Předpokládá se totiž, že nejvýznamnější práce s nejvyšším dopadem mají nejvyšší citovanost. Citace však samy o sobě neměří vědeckou excelenci. Citace pouze poskytují informace o relativní kvalitě výstupu např. ve vztahu ke světovému průměru. Je spíše zástupným, nepřímým ukazatelem kvality (Sandström 2009, Moed 2005). Nejvhodnějším způsobem hodnocení kvality je v současnosti informované peer review, pro které bibliometrická evaluace poskytuje podkladové informace.

Citovanost dle Martin a Irvine (1983) není absolutní nýbrž relativní charakteristikou, která je společensky a kognitivně determinována. Je také ovlivněna faktory jako lokalizace autora, jeho prestiž a renomé instituce, jazyk a dostupnost vědeckého časopisu. Při hodnocení citovanosti je třeba si uvědomit, že články mohou být citovány z různých důvodů, což omezuje využití tohoto ukazatele pro hodnocení kvality. Důvody pro citování jiných prací jsou dle Campanario (2003) tyto: (a) uznání zásluh (identifikace předchůdců a původních prací, ve kterých byla poprvé publikována fakta, myšlenky či principy), (b) předchozí práce (identifikace obecných dokumentů, které se k tématu vztahují, prezentace předchozích výsledků, komentování, oprava či kritika předchozích prací, identifikace metodologie apod.), (c) autorita (doložení nároků a tvrzení, přesvědčení čtenářů, identifikace výsledků ostatními, kteří podporují autorovu práci), (d) společenské faktory (citace prestižních výzkumníků, citace autorovými žáky, přátelství apod.).

Citace článku nadto nemusí implikovat, že citovaná práce došla k požadovaným výsledkům, ale znamená, že provedený výzkum byl jiným výzkumníkem shledán užitečným pro další práci. Negativní zjištění totiž mohou mít značnou hodnotu ve smyslu dalšího směřování výzkumu a využití vhodných metod. Citovanost také ovlivňuje omezený prostor, který časopisy poskytují pro reference. V důsledku výzkumníci necitují všechny využité práce. Moed (2005) odhaduje, že pouze zhruba třetina využité literatury je citována.

Značnou variabilitu v motivech citování zjistili také Bornmann a Daniel (2008). Nicméně dospěli ke zjištění, že citovanost není natolik náhodná, aby nemohla být využívána pro evaluace. Nadto van Raan (2005) argumentuje, že počet citací je stále relevantním ukazatelem pro hodnocení kvality již jen z toho důvodu, že existuje značná shoda mezi výsledky bibliometrie a peer review. Díky nejistotě obklopující důvody pro citování je třeba počet citací a všechny ukazatele odvozené od tohoto indikátoru ve smyslu kvality vědeckých publikací interpretovat s jistou opatrností. (Hicks, Melkers 2012)

Citovanost lze také sledovat pro jednotlivé odborné časopisy. Nejčastěji užívanými ukazateli pro hodnocení citovanosti časopisů jsou impact factor časopisu (Journal Impact Factor – představuje průměrný počet citací průměrné publikace v daném časopisu), který užívá databáze Thomson Reuter Web of Science, a SNIP (Source Normalized Impact per Paper měří jeho kontextuální citační dopad časopisu na základě celkového počtu citací v jednotlivých oborech) uváděný databází Elsevier Scopus.

Využití citovanosti při evaluacích je limitováno oborovými specifiky v citační praxi. Využití citovanosti pro hodnocení kvality je vhodné v přírodních vědách a lékařských vědách. Méně spolehlivé je v případě technických oborů a společenských vědách. Nevhodné je využití citací v humanitních a uměleckých oborech (Arnold a Mehieu 2015).

Počet citací se v čase vyvíjí, nárůst a pokles může být různě strmý, stejně tak může být rozdílná doba, po kterou se článek cituje. Proto je vhodné počet citací a všechny ukazatele, které z něj vycházejí sledovat dle jednotlivých oborů a za stejné časové období. Pro sledování počtu citací se zpravidla volí 3–5 leté časové okno po publikování článku. Současně je nezbytné zvážit využití autocitací. Obvykle se autocitace vylučují. Problematické je to však v případě, že se na tvorbě článku podílelo více autorů. Proto někteří autoři doporučují vyřadit autocitace pouze v případě, že se jedná o prvního autora. Pokud se autorovo jméno nachází na jiných pozicích, pak se citování takového článku nepovažuje za autocitaci (Aksnes 2003). Často využívaným ukazatelem je také průměrný počet citací článků v daném souboru, který se vypočítá jako prostý aritmetický průměr celkového počtu citací všech publikací a počtu vytvořených publikací. Tento ukazatel však může být ovlivněn nízkým počtem vysoce citovaných článků či velkým počtem málo citovaných či necitovaných článků. V takto hrubé podobě je použitelný jen pro porovnávání citovanosti podobných souborů, např. v rámci určitého oboru.

Protože je citovanost oborově velmi specifická, je vhodné ji normalizovat, vztáhnout k referenčním hodnotám, např. světovému průměru v dané vědní disciplíně (Moed 2005). Hlavním normalizovaným ukazatelem je průměrná citovanost článku normalizovaná dle vědních oborů (Waltman et al. 2011). Vypočítá se jako podíl průměrného počtu citací článku (CPP) a průměrného počtu citací všech článků (stejných typů publikace) ve stejném vědním oboru publikovaných ve stejném roce (FCSm):

Kde c je průměrný počet citací článku i a [µ_f ] je průměrný počet citací článku v normalizační skupině článků i (průměrného počtu citací všech článků publikovaných ve stejném vědním oboru ve stejném roce). Normalizační skupinu může představovat světová, evropská či národní úroveň. Pokud je článek zařazen do více vědních oborů, vypočte se podíl za každý obor a následně do výpočtu vstupuje jejich průměr.

Tento ukazatel je snadno interpretovatelný. Hodnota 1 odpovídá průměru normalizačního souboru, zatímco např. hodnota 0,9 znamená, že citovanost dané publikace je 10 % pod průměrem citovanosti normalizačního souboru, a hodnota 1,2 znamená citovanost 20 % nad průměrem normalizačního souboru.

Tento ukazatel bývá někdy upraven jako tzv. Field normalised citation score:

 

Rozdílem je, že tento ukazatel na rozdíl od předchozího zachází se všemi články stejně, zatímco předchozí ukazatel dával větší váhu článkům v normalizační skupině s vyššími referenčními hodnotami (Lundberg 2006).

Využití obou indikátorů je omezeno náročností vytvoření normalizačního souboru, tedy dostupnost dat o průměrné citovanosti v jednotlivých oborech, která není nijak centrálně stanovena, ale každý evaluátor si ji musí vypočítat ze značně rozsáhlého souboru dat.

Ukazatelem využívaným pro identifikaci excelence jsou tzv. vysoce citované publikace (highly citated publications – HCP). Sleduje, kolik článků spadá mezi 10 % nejvíce citovaných článků (Waltman, Van Eck, Van Raan 2012). Je však možné volit i jiný percentil, např. 5 či 20 %. Je doporučeno tento ukazatel používat pro sledování trendů v pozici výzkumné instituce a výzkumných skupin na světovém vrcholu (CWTS 2007). Tento ukazatel je možné vztáhnout k jednotlivým časopisům a k jednotlivým oborům. Zitt et al (2005) ukázali, že mezi těmito dvěma úrovněmi existují značné rozdíly. Např. konkrétní článek může patřit mezi 10 % nejcitovanějších v daném oboru, ale nemusí být zastoupen mezi 10 % nejcitovanějších článků v určitém časopise, pokud se jedná o časopis s vysokým impakt faktorem a naopak. 

Citovanost může být také využita k hodnocení šíření znalostí. Pomocí síťové analýzy využívající data o citovanosti je možné např. zjišťovat blízkost a intenzitu vazeb mezi obory, výzkumnými pracovišti, výzkumnými týmy či mezinárodní tok znalostí. Dále může ukázat vazby konkrétního článku na jiné práce, výzkumníky, výzkumné organizace a vědní obory. Podle počtu citací článku články z jiných oborů se kromě šíření znalostí hodnotí také dopady na jiné obory výzkumu. Opačně je možné zjišťovat počet oborů, které daný článek cituje, což indikuje rozsah, jakým je provedený výzkum založen na integraci poznatků jiných oborů.

Bibliometrické ukazatele je třeba vhodně volit v souvislosti s cíli hodnocení a evaluačními otázkami a opatrně je interpretovat, a to zejména v případě, že se hodnotí široká škála různých oborů. Využití bibliometrického hodnocení s sebou přináší řadu etických otázek. Jako každé jiné hodnocení může být dezinterpretováno. Z tohoto důvodu vytvořili Hicks, Wouters, Waltman, de Rijjcke a Rafols (2015) Leiden Manifesto, který stanovuje následující 10 pravidel:

• Kvantitativní hodnocení by mělo podporovat kvalitativní, expertní hodnocení. Ukazatele nesmí být náhradou za posudky expertů.
• Výkonnost výzkumu musí být měřena v závislosti na cílech hodnocení, posláních hodnocených jednotek. Neexistuje žádný universální model.
• Excelence v místně specifickém výzkumu (např. v historii, etnologii, právní vědě) musí být chráněna. Problematika místně specifického výzkumu musí být zohledněna při tvorbě metodiky a hodnocení.
• Sběr dat a jejich analýza musí být otevřené, transparentní a jednoduché.
• Hodnoceným subjektům je třeba umožnit verifikovat data a analýzy.
• Mezioborové rozdíly v publikačních a citačních zvyklostech musí být zohledněny.
• Hodnocení jednotlivých výzkumníků musí být kvalitativní.
• Je třeba se vyhnout vysoké konkrétnosti a falešné přesnosti hodnocení.
• Systémové vlivy hodnocení a ukazatelů na celý systém VaV by měly být sledovány, protože ovlivňují publikační a citační chování výzkumníků.
• Vypovídací schopnost a aktuálnost ukazatelů musí být pravidelně sledovány a ukazatele musí být aktualizovány.

4. Zdroje bibliometrických informací

V současné době jsou nejvyužívanějšími bibliometrickými databázemi komerční databáze Thomson Reuters Web of Science a Elsevier SciVerse Scopus. Zařazení odborného periodika do těchto databází je určitým ukazatelem kvality periodika a následně i kvality článků, které byly v takovém periodiku publikovány.

Web of Science (WoS) je hlavní platformou pro vyhledávání vědeckých a výzkumných informací. Pokrývá více než 12 tisíc titulů odborných periodik a více než 160 tisíc sborníků konferencí. Obsahuje přibližně 90 milionů záznamů a 800 milionů citovaných odkazů. Z hlediska oborového zaměření odborných časopisů WoS pokrývá převážnou většinu časopisů v přírodních a lékařských vědách a také většinu časopisů technických oborů. Nižší je však pokrytí časopisů v sociálních a humanitních vědách, kde se soustředí primárně na angloamerické časopisy (Ossenblok, Engels a Sivertsen 2012). Při využití WoS pro bibliometrické hodnocení je nutné zohlednit, že je selektivní databází. Nesnaží se o úplnost pokrytí publikací, ale odborná periodika jsou do databáze vybírána na základě několika kritérií (Testa 2012), kterými jsou: publikační standardy (peer review, pravidelné publikování), obsah (přidaná hodnota v daném oboru), rozmanitost (mezinárodní, regionální vliv autorů, redaktorů), citační analýza (předcházející vědecké práce redaktorů a autorů) a jazyk (většina článků v angličtině).

Databáze Scopus zahrnuje více než 21 000 aktivních titulů periodik od 5000 vydavatelů z celého světa a 8000 neaktivních titulů. Celkový počet záznamů dosahuje 54 milionů, z nichž přibližně polovina je od roku 1996 do současnosti (úplné záznamy o citacích jsou od roku 1996). Humanitní obory jsou sledovány od roku 2009, v současnosti indexuje v těchto oborech více než 3 000 periodik. Oproti WoS Scopus usiluje o širší pokrytí celosvětové vědecké produkce. Scopus pokrývá přibližně dvojnásobek titulů ve srovnání s WoS avšak v kratším časovém intervalu. Další rozdíl spočívá v odlišném oborovém třídění.

Uživatelský přístup a možnosti vyhledávání v obou databázích jsou obdobné. Poskytují možnost vyhledávat články v periodikách podle klíčových slov, jmen autorů, institucí, data publikování a logických kombinací. Záznamy lze exportovat do klientských aplikací, které umožňují další třídění, spolupracují s textovým editorem a podporují citační zvyklosti a formáty jednotlivých oborů a periodik.

Obě databáze poskytují placené scientometrické nadstavby pro analýzu bibliometrických dat – InCites (WoS) a SciVal (Scopus). Obě nadstavby poskytují obdobné služby a analytické nástroje. Obsahují metriky pro hodnocení produktivity (informace o objemu výstupů), efektivity, excelence, citačních dopadů, spolupráce, šíření témat v dané disciplíně i interdisciplinárně či detekci nově vznikajících oblastí výzkumu. Užití těchto nástaveb výrazně zlehčuje a urychluje analýzu bibliometrických dat oproti generování surových dat, jejich „ručnímu“ zpracování a vlastní analýze. Nevýhodou však je čistota a definování podkladových dat a v případě InCites možnost používat pouze predefinované ukazatele.

V obou databázích existuje určitá chybovost ve jménech autorů, jejich afiliacích, počtech stran, číslech časopisů apod. Z tohoto důvodu je pro kvalitní bibiometrické hodnocení vhodné každého výzkumníka identifikovat s využitím internetových zdrojů a seznamem jeho publikací a životopisu (Reimann 2013). Dále se objevují problémy s propojováním článků a jejich citacemi v jiných článcích zejména v případě publikací, na nichž spolupracoval velký počet autorů, kde může docházet k různým variantám pořadí autorů. (Butler 2008).

5. Příklady využití bibliometrie pro hodnocení programů

Bibliometrie bývá využívána pro hodnocení programů na národní i nadnárodní úrovni. Příkladem využití na nadnárodní úrovni je průběžná evaluace 7. Rámcového programu výzkumu. Tato evaluace je současně příkladem aplikace pouze základních bibliometrických ukazatelů. Příklady hodnocení národních programů mohou být hodnocení programů americké agentury National Oceanic and Atmospheric Administration a Švédské agentury ochrany životního prostředí.

Evropský 7. rámcový program výzkumu byl po celé své období důkladně evaluován s využitím řady kvalitativních a kvantitativních metod. Jednou z metod byla i bibliometrie, která byla aplikována pro průběžné hodnocení. Průběžné hodnocení vypracované firmou Thomson Reuters (2010), na němž se podílela řada expertů z různých zemí EU, se zaměřovalo na zodpovězení tří základních otázek:

• Jak může být zlepšen dopad rámcového programu a budoucího rámcového programu na vytváření Evropského výzkumného prostoru?
• Hraje rámcový program adekvátní úlohu ve zlepšování pozice Evropy na globální mapě vědy a technologií?
• Jak může být zvýšen dopad a přidaná hodnota kolaborativního výzkumu, který probíhá mezi vědními obory, průmyslovými sektory a politickými oblasti, s ohledem na lepší reakci na široké společenské výzvy?

Ze znění otázek je zřejmé, že bibliometrie na tyto otázky nedokáže přímo odpovědět. Může však poskytnout důkazy o předchozím a stávajícím stavu výzkumných aktivit a změn ve výzkumné základně. Tyto důkazy mohou být dále interpretovány a využívány kvalitativními metodami. Bibliometrická analýza vypracovaná společností Thomson Reuters zjišťovala, jak se zvyšoval objem publikací EU-27 v porovnání s hlavními světovými regiony. Klíčovou otázkou bylo, jak výzkumníci s využitím prostředků rámcového programu reagují na zvyšující se globální konkurenci. Provedená evaluace se zaměřovala na celkové trendy v produkci publikací a citovanosti. Byla založena jen na základních ukazatelích – počtu publikací a citovanosti. U počtu publikací porovnávala produkci EU-27 se světem, USA, Latinskou Amerikou a asijsko-pacifickou oblastí. Dále sledovala rozdíly mezí EU-15 a novými členskými zeměmi a produkci ve vybraných oborech – materiálovém výzkumu, fyzice, molekulární biologii a genetice. Na základě citovanosti hodnocené dle základních ukazatelů byla nepřímo posuzována kvalita výsledků.

National Oceanic and Atmospheric Administration je federální agenturou mj. financující výzkum v oblasti vodního hospodářství, rybolovu, hodnocení klimatických změn a ochrany pobřežních ekosystémů. Hodnocení svých programů tato agentura nechápe jen jako součást jejich efektivního řízení, ale také jako nástroj pro postupné zlepšování své činnosti. Metodika hodnocení (Belter, Sen 2014), kterou tato agentura využívá, je organizována do čtyř hlavních oblastí – produkce, spolupráce, téma a kvalita. Ukazatele produkce měří množství výstupů výzkumu, ukazatele spolupráce se zaměřují na identifikaci množství znalostí sdílených výzkumníky vně aktivit podpořených NOAA a hlavními domácími a zahraničními partnery z různých institucionálních a hospodářských sektorů. Ukazatele tématu identifikují hlavní výzkumné oblasti a šíření vytvořených poznatků mezi další vědní obory. Ukazatele kvality měří hodnotu výsledků pro širší vědeckou komunitu. Jedná se o tyto ukazatele:

• Produkce – kolik bylo publikováno článků?

• Počet publikací v daném časovém období
• Počet publikací agregované jednotky (výzkumný tým, výzkumná organizace apod.)

• Spolupráce – s kým byly články publikovány?

• Procento publikací se spoluautorem z jiné výzkumné organizace, procento publikací se spoluautorem z jiného sektoru, z jiné země.

• Téma – o čem jsou články a jak integrují disciplíny

• Počet publikací podle témat, počet publikací podle výzkumných témat, počet oblastí citujících dané publikace, poměr citací uvnitř a mezi oblastí výzkumu dané publikace

• Kvalita – jak dobré jsou články?

• Počet citací, počet citací na publikaci, celkové procentu publikací v 10 % nejcitovanějších, počet publikací v 10 % nejcitovanějších v jednotlivých vědních oborech.

 

Švédská agentury ochrany životního prostředí pomocí bibliometrie vyhodnotila 7 programů realizovaných v letech 2003–2012 (Sandström 2014). Evaluace se zaměřovala na zjištění celkové produkce programů a zjištění kvality na základě citovanosti. Evaluace byla založena na kvantitativní analýze vědeckých článků registrovaných v databázi WoS, nikoliv na analýze všech výstupů evaluovaných programů. Hodnocení bylo realizováno na úrovni vědních oborů. Na rozdíl od výše uvedených příkladů byly využity i pokročilejší ukazatele. Ze základních ukazatelů byl využit jen počet článků vytvořených v období 2003–2012 a součet autorských podílů (autorů podpořených programy) na článcích v tomto období. Z pokročilejších ukazatelů byl využit ukazatel Field adjusted production, který produkci v daném oboru vztahoval k průměrným hodnotám celé Skandinávie. Dále výše uvedené ukazatele Normalisation field citation score a Field normalised citation score, které citovanost vztahují k průměrné citovanosti za celou Skandinávii v jednotlivých oborech. Dalšími využitými ukazateli byly percentuální podíl článků v 5 % nejcitovanějších a Normalised journal citation score, který vztahuje citovanost článků k průměrné citovanosti časopisů, ve kterých byly zveřejněny, a Standard citation score, který je definován takto:

Kde je průměrná hodnota logaritmu počtu citací (plus 0,5) v normalizační skupině a   je standardní odchylka rozložení .

 

Tento ukazatel reaguje na šikmé rozložení citovanosti. Autoři evaluace programů Švédské agentury životního prostředí jej doporučují používat jako doplněk výše uvedeného ukazatele Field normalised citation score, kdy se využívá pro triangulaci výsledků. Pokud existují rozdíly mezi těmito ukazateli, doporučují za vhodnější ukazatel Standard citation score.

6. Hodnocení programů VaV v České republice

Oproti zemím s vyspělou evaluační kulturou se programy VaV v ČR začaly systematicky hodnotit teprve od roku 2004, kdy Vláda ČR usnesením č. 644 ze dne 23. června 2004 schválila Metodiku hodnocení výzkumných organizací a ukončených programů. Tato metodika poskytla velmi obecný rámec pro hodnocení programů, který s drobnými změnami platí až do současnosti. Tato metodika ukládá poskytovatelům účelové podpory VaV hodnotit ukončené programy. Jiné druhy hodnocení metodika neuvádí, nechává je tedy na možnostech a uvážení jednotlivých poskytovatelů. Tuto metodika však není možné považovat za metodiku v tom smyslu, jak je chápána ve vyspělých zemích. Představuje pouhý zhruba dvoustránkový popis struktury hodnotící zprávy a další procedurální postup, aniž by uváděla nějaké evaluační otázky, cíle hodnocení a specifikovala použité metody (Čadil 2011).

Ve výsledku se ukázalo, že ukončené programy byly hodnoceny pouze formálně. V praxi toto hodnocení vyústilo v pouhou tabulku, kde se pro jednotlivé podpořené projekty uváděl počet jednotlivých druhů výstupů. Malý důraz byl kladen na hodnocení druhů a kvality výstupů. Hodnocení využití výstupů nebylo sledováno vůbec (Čadil 2011). Mezinárodní audit systému VaVaI (Arnold 2011) zjistil, že v ČR není hodnocení programů VaV považováno za důležitou součást procesu přípravy a realizace politik a programů v oblasti VaV, přičemž v zahraničí často akcentovaná úloha hodnocení ve smyslu získávání znalostí a zkušeností z hodnocení programů VaV (učení se) je ČR nedostatečně vyvinuta či v případě některých poskytovatelů podpory VaV zcela schází. Systém hodnocení programů VaV je spíše pouhým monitorováním vytvořených výstupů a nákladů potřebných k jejich dosažení.

Důraz stávající metodiky na hodnocení vytvořených výstupů přímo vybízí k aplikaci bibliometrických metod. Tomu může napomoci i existence centrálního Informačního systému výzkumu, vývoje a inovací (IS VaVaI), který pokrývá všechny poskytovatele veřejné podpory VaV v ČR. Takový systém je v Evropě unikátní, protože obvykle poskytovatelé mají pouze své vlastní informační systémy, které nejsou vzájemně integrovány. Při propojení databáze výsledky z IS VaVaI s informacemi z WoS či Scopus může vzniknout databáze, která umožní aplikaci řady sofistikovaných bibliometrických metod. 

Bibliometrické metody jsme se snažili aplikovat při závěrečné evaluaci Národních programů výzkumu I a II a programů mezinárodní spolupráce. Cílem hodnocení bylo jednak zhodnotit programy VaV tak, aby byly využitelné jako nástroj pro zefektivnění veřejné podpory VaV (zejména pro tvorbu navazujících programů), k čemuž jsme se snažili vycházet z mezinárodně přijímaných standardů a současně vyhovět požadavkům platné metodiky. Dalším cílem byla snaha ověřit možnost využití bibliometrie jako vhodného nástroje pro hodnocení programů VaV v ČR.

Zásadním problémem, který vyvstal při formulování metodiky pro závěrečné hodnocení NPV I a II, bylo, že hodnocení muselo proběhnout bezprostředně po ukončení programů a na hodnocení byl poskytovatelem veřejné podpory VaV stanoveno příliš krátké období – pouze 5 týdnů – vycházející z platné metodiky hodnocení ukončených programů. Toto příliš krátké období výrazně kontrastuje s časem vymezeným na hodnocení programů v zemích s vyspělou evaluační kulturou, kdy se za minimální čas potřebný pro kvalitní hodnocení považuje tři čtvrtě roku. Dané časové období nezahrnovalo jen vlastní hodnocení a vypracování hodnotící zprávy, ale i vytvoření databáze výstupů. Při vytváření databáze bylo třeba odstranit duplicity ve výstupech, zkontrolovat a správně přiřadit afiliace autorů a propojit informace o výstupech s informacemi z WoS. Z bibliometrických metod bylo vzhledem k nedostatku času a načasování hodnocení aplikováno pouze sledování počtu výstupů, přičemž se sledovaly počty a poměry jednotlivých druhů výstupů a to v členění dle vědních oborů. U počtu článků v časopisech se zjišťovalo, zda jsou publikovány v domácích a zahraničních impaktovaných časopisech. V případě knih a knižních kapitol se pozornost zaměřila na zjištění jazyka, ve kterém byly sepsány. Místo publikování a jazyk publikování jsme chápali jako nepřímý ukazatel kvality a předpokládali jsme, že články publikované v angličtině v zahraničním impaktovaném periodiku dosahují vyšší kvality. Současně jsou lépe dostupné mezinárodní vědecké komunitě, což zvyšuje pravděpodobnost, že budou využity zahraničními výzkumníky. Dále byly hodnoceny základní charakteristiky podpořených projektů ve smyslu jejich finanční velikosti, délky realizace, kategorií příjemců a oborového a geografického členění.

Stejný přístup avšak s využitím dotazníkového šetření mezi hlavními řešiteli projektů byl aplikován také v případě hodnocení programů mezinárodní spolupráce ve VaV– KONTAKT, COST, EUREKA a INGO. Jako velice cenné se ukázalo provedení dotazníkového šetření, protože jednak postihlo informace, které nebylo možné získat z dostupných informací o výstupech, a jednak napomohlo lepší interpretaci informací o dosažených výsledcích. Dotazníkové šetření se zaměřovalo na zjištění informací o lidských zdrojích zapojených do řešení projektů, rozvoji mezinárodní spolupráce, přínosech této spolupráce, využití výstupů projektů a administrativní náročnosti přípravy a řízení projektů.

Kromě dat z IS VaVaI, komerčních bibliometrických databází či dotazníkových šetření je možné ještě využívat informace obsažené v projektových žádostech, průběžných zprávách z realizace projektů a oponentních řízení. Využití těchto informací je však limitováno potřebou získat souhlas řešitelů projektů, což je v řadě případů obtížné.

7. Návrh bibliometrických ukazatelů pro hodnocení programů VaV v ČR

Provedená hodnocení ukázala, že bibliometrie může být využita pro hodnocení programů VaV v ČR. Jak již bylo uvedeno výše využití bibliometrických metod je však třeba provádět uvážlivě v závislosti na cíli a druhu hodnocení.

Cílem programů VaV v ČR obvykle bývá zvýšení kvality prováděných aktivit VaV, rozšíření škály poznatků, rozvoj spolupráce ve VaV, šíření znalostí a řešení určitých problémů, které byly definovány národními prioritami VaV. Kromě posledně jmenovaného je možné dosažení všech ostatních cílů hodnotit s pomocí bibliometrie. Pro hodnocení uvedených cílů lze navrhnout několik ukazatelů, které uvádí tabulka č. 1. Tematicky jsou rozděleny do 4 skupin. Skupina produkce se vztahuje k problematice rozšíření škály poznatků, zvýšení kvality VaV a k hodnocení naplňování priorit VaV. Je zastoupená ukazatelem počet článků, knižních kapitol či odborných knih. Sleduje, kolik se díky programu vytvořilo publikací. Skupina kvalita primárně odkazuje na potřebu zvýšit kvalitu VaV. Hodnotí kvalitu dosažených výstupů (článků) na základě citovanosti jakožto obecně přijímaného zástupce hodnocení kvality. Citovanost sleduje pomocí ukazatelů – Průměrný počet citací článků (dle vědních oborů) ve vztahu k průměru vyspělých zemí, Průměrný počet citací článků dle vědních oborů, Počet (podíl) článků ve 25 % a 10 % nejvíce citovaných článků dle vědních oborů, Podíl počtu citací článků výzkumníky ze zahraničních výzkumných organizací dle projektů a vědních oborů, Procentuální podíl článků, které nejsou citovány, dle jednotlivých oborů. Pomocí skupiny spolupráce je hodnocen rozvoj mezinárodní a domácí spolupráce ve VaV. Sleduje intenzitu mezinárodní a domácí spolupráce s využitím ukazatelů – Počet a podíl publikací vytvořených ve spolupráci se zahraničními výzkumníky celkem a dle vědních oborů a Počet a podíl publikací vytvořených ve spolupráci s výzkumníky z jiné výzkumné organizace v ČR celkem a dle vědních oborů. Skupina šíření znalostí reaguje zejména na cíle programů ve smyslu přenosu znalostí. Na základě ukazatele Počet vědních oborů (včetně jejich vyjmenování) citujících publikace vytvořené v jednotlivých projektech, dle vědních oborů zjišťuje, jaké další obory využívají vytvořené poznatky.

Uvedené bibliometrické ukazatele lze plně využít při hodnocení dopadů, v omezené míře u průběžného a ex-post hodnocení (právě ukončených programů). U průběžného hodnocení, které poskytuje informace o realizaci aktivit, naplňování cílů podpořených projektů, průběhu programu a naplňování jeho cílů, je možné hodnotit, jak se zvyšuje počet publikací dle jednotlivých oborů a kategorií příjemců. V případě ex-post hodnocení, jehož cílem je zhodnotit celý průběh programu VaV, výsledky, splnění cílů programu VaV a celkovou efektivitu vynaložených prostředků programu VaV, lze s pomocí bibliometrie hodnotit počet vytvořených publikací včetně jejich struktury a domácí i mezinárodní spolupráci.

Hodnocení dopadů vychází z ex-post hodnocení programu, z nějž přebírá zejména informace o produkci (vytvořených výstupech) a spolupráci. Bibliometrické hodnocení by se u tohoto druhu hodnocení mělo věnovat zejména zjištění kvality výstupů na základě citovanosti a šíření znalostí vytvořených jednotlivými podpořenými projekty.

Hodnocení dopadů by se mělo realizovat po několikaletém odstupu po ukončení programu, aby bylo možné na základě citovanosti hodnotit kvalitu a šíření znalostí. Stanovit vhodné citační okno je třeba velmi uvážlivě, protože jednotlivé obory mají odlišné citační charakteristiky. Proto je vhodné, aby rozsah časového okna, resp. doba pro provedení hodnocení dopadů na základě citovanosti nebyla stanovena centrálně, ale stanovována ad hoc. Jak bylo uvedeno výše, v zahraničí se často využívá tří až pětileté plovoucí citační okno. Avšak i pětileté okno může být krátké v případě některých sociálních a humanitních věd. V případě hodnocení programů pokrývajících několik oborů je třeba stanovit citační okno na základě určitého kompromisu a obory hodnotit samostatně.

Pro hodnocení by se využívala data z IS VaVaI zkombinovaná s informacemi z WoS a Scopus. Při vytvoření databáze kombinující tyto tři datové zdroje je však třeba sjednotit odlišné klasifikace vědních oborů a správně přiřadit afiliace, které se mohou u jednotlivých databází lišit.

 

Závěr

Bibliometrické metody jsou v současné době jedněmi z nejčastěji používaných nástrojů pro hodnocení VaV včetně programů VaV. Jsou využívány národními agenturami i Evropskou komisí zejména pro hodnocení kvality a vědeckých dopadů. Bibliometrie obvykle nebývá při hodnocení programů jediným nástrojem, ale bývá spíše podkladem pro peer review hodnocení a pro triangulaci výsledků tohoto hodnocení. Pomocí bibliometrie je možné hodnotit celkovou produkci výsledků, spolupráci, transfer znalostí a nepřímo lze pomocí citační analýzy usuzovat na kvalitu výstupů. Zásadní výhodou využití bibliometrie je relativně nízká cena. Nevýhoda spočívá ve skutečnosti, že publikační i citační praxe jsou oborově velmi specifické, což znesnadňuje využití bibliometrie pro hodnocení aplikovaného výzkumu a hodnocení humanitních oborů.

V ČR lze bibliometrii využít pro hodnocení ukončených programů a pro hodnocení dopadů. Zejména hodnocení dopadů může přinést zajímavé informace o rozvoji spolupráce, kvalitě výsledků a jejich využití výzkumnou sférou. Zásadním omezením však je stávající systém hodnocení, který stanovuje, že programy se hodnotí bezprostředně po ukončení, což znemožňuje využití citační analýzy, a současně stanovuje příliš krátkou dobu pro realizaci hodnocení. V neposlední řadě je třeba zmínit malou poptávku po hodnocení, a to zejména po hodnocení dopadů.

 

Zdroje

[1]        ALBRECHT, V., VANĚČEK, J. (2008) Assessment of Participation of the Czech Republic in the EU Framework Programmes. Prague: Technologické centrum AV ČR

[2]        AKSNES, D., W. (2003) „A macro study of self-citation”. Scientometrics 2(56), 235-246.

[3]        ARLTOVÁ, M. (2010) Problém měření a hodnocení individuální vědecké výkonnosti. Politická ekonomie 3(2010): 393.

[4]        ARNOLD, E. (2011) International Audit of Research, Development & Innovation in the Czech CzechRepublic, Synthesis Report. [online]. Brighton: Technopolis Group, [cit. 2015-03-30]. Dostupné z: http://audit-vav.reformy-msmt.cz/soubory-ke-stazeni/

[5]        ARNOLD, E., MEHIEU, B. (2015) R&D Evaluation Methodology and Funding Principles, Summary Report. [online]. Brighton, Technopolis Group. [cit. 2015-04-15] Dostupné z: http://metodika.reformy-msmt.cz/vystupy-projektu

[6]        BASL, J., MÜNICH, D., SIDORKIN, O. (2009) Publikační výsledky české sociologie v odborných časopisech v posledních deseti letech. [discussion paper online]. Praha: CERGE EI. [cit. 2015-31-08]. Dostupné z: https://www.
cerge-ei.cz/pdf/dp/DP201_2009.pdf

[7]        BELTER, C., SEN, A. (2014) Bibliometric Performance Measures for the Evaluation of NOAA R&D. [online]. Silver Spring: NOAA. [cit. 2015-04-28]. Dostupné z: http://research.noaa.gov/sites/oar/Documents/2014-07-07.Biblio
metricPerformanceMeasuresfortheEvaluationofNOAARD.pdf

[8]        BORNMANN, L., DANIEL, H. D. (2008) „What do citation counts measure? A review of studies on citing behavior“. Journal of Documentation 1(64): 45-80.

[9]        BUTLER, L (2008) „Using a balanced approach to bibliometrics: quantitative performance measures in the Australian Research Quality Framework“. Ethics in Science and Environmental politics 1(8): 83-92.

[10]      CAMPANARIO, J. M. (2003) „Citation Analysis“. In: Feather, J., Sturges, P. (eds.), International Encyclopaedia of Information and Library Science, 2nd Edition. London: Routledge. s. 76-78.

[11]      CWTS (2007) Scoping study on the use of bibliometric analysis to measure the quality of research in UK higher education institutions. Report to HEFCE by the Leiden group. [online]. Leiden: CWTS. [cit. 2015-04-28] Dostupné z: http://webarchive.nationalarchives.gov.uk/20100202100434
/http:/www.hefce.ac.uk/pubs/rdreports/2007/rd18_07/rd18_07.pdf

[12]      ČADIL, V. (2011) Metodický rámec pro hodnocení programů výzkumu, vývoje a inovací. [výzkumná zpráva online]. Praha: TC AV ČR. [cit. 2015-06-02]. Dostupné z: http://www.vyzkum.cz/storage/att/18C0C6E0BEDC982432D
14A62BD739099/A%203-3%20Hodnoceni%20programu.pdf

[13]      European Commission (2006) Smart Innovation: A Practical Guide to Evaluating Innovation Programmes. Luxembourg: Office for Official Publications of the European Communities.

[14]      ESF (2009) Evaluation in National Research Funding Agencies: Approaches, Experiences and Case Studies. [online]. Strasbourg: European Science Foundation. [cit. 2015-04-20] Dostupné z: http://www.esf.org/fileadmin/Public_
documents/Publications/moforum_evaluation.pdf

[15]      Expert Group on Assessment of University-Based Research (2010) Assessing Europe’s University-Based Research. Bruxelles: European Commission, DG Research.

[16]      HICKS, D. (2004) „The four literatures of social science“. In: Moed et. al., Handbook of Quantitative Science and Technology Research: The use of publication and patent statistics in studies of S&T systems. Dordrecht/Boston/ London: Kluwer Academic Publishers. s. 473–496

[17]      HICKS, MELKERS (2012) „Bibliometrics as a Tool for Research Evaluation”. In: Link, A., Vornatas, N., Handbook on the Theory and Practice of Program Evaluation, Cheltenham: Edward Elgar. S. 323-349.

[18]      HICKS, D., TOMIZAWA, Y., SAITOH, S., KOBAYASHI, S. (2004) „Bibliometrics techniques in the evaluation of federally funded research in the United States“. Research Evaluation 1(13):76-86.

[19]      HICKS, D., WOUTERS, P., WALTMAN, L., de Rijjcke, S., Rafols, I. (2015) „The Leiden Manifesto for research metrics”. Nature 7548 (520): 429-431.

[20]      ISMAIL, S., NASON, E., MARJANOVIC, S., GRANT, J. (2009) Bibliometrics as a tool for supporting prospective R&D decision-making in the health sciences, Strengths, weaknesses and options for future development. [online]. Cambridge: RAND Corporation. [cit. 2015-05-05] Dostupné z: http://www.rand.org/pubs/technical_reports/TR685.html

[21]      KOUBA, K. (2011) Publikační výsledky českých kateder politologie a mezinárodních vztahů a jejich výzkumníků v citačních databázích (1990-2010). Politologický časopis – Czech Journal of Political Science 4 (2011): 354-378.

[22]      LUNDBERG, J. (2006) Bibliometrics as a research assessment tool – impact beyond the impact factor. [online]. Stockholm: Karolinska Institute. [cit. 2015-05-06] Dostupné z: http://bitsdream.dyndns.org/bibliometry/thesis
.pdf

[23]      MARTIN, B. R., IRVINE, J. (1983) „Assessing Basic Research: The Case of the Isaac Newton Telescope“. Social Studies of Science 1(13): 49-86.

[24]      MELIN, G. (1996) „The networking university - A study of a Swedish University using institutional co-authorships as an indicator”. Scientometrics 1(35): 15-31.

[25]      MOED, H. (2005) „Citation analysis in research evaluation“. Dordrecht: Springer.

[26]      NARIN, F., HAMILTON, K. S. (1996) „Bibliometrics performance measures“. Scientometrics 3(36):293-310.

[27]      OSSENBLOK, TLB., ENGELS, TCE, SIVERTSEN, G. (2012) The representation of the social sciences and humanities in the Web of Science
– a comparison of publication patterns and incentive structures in Flanders and Norway. Research Evaluation 4(21): 280-290.

[28]      PECHA, O., PERUTKOVÁ, P. (2013): „Bibliometrická analýza úspěšných žadatelů o Starting granty Evropské výzkumné rady v roce 2012“. Echo 2 (2012): 4-8.

[29]      RVVI (2013) Metodika hodnocení výsledků výzkumných organizací a ukončených programů platná pro léta 2013 až 2015. [online]. Praha, Úřad vlády ČR. [cit. 2015-31-09]. Dostupné z: http://www.vyzkum.cz/stor
age/att/373C18E8F5E1311F5B8AF2BD17FAB115/M2013_v95.pdf

[30]      Thomson Reuters (2010) Bibiometric analysis, final report. [online]. London: Thomson Reuters. [cit. 2015-04-30]. Dostupné z: http://ec.europa.eu/
research/evaluations/pdf/archive/fp7-evidence-base/experts_analysis/j.%
20adams_-_bibliometric_analysis.pdf

[31]      SANDSTRÖM, U. (2009) „Bibliometric evaluation of research programme, a study of scientific quality“. Stockholm: The Swedish Environmental Protection Agency.

[32]      SANDSTRÖM, U. (2014) „Bibliometric evaluation of SEPA-funded large research programs 2003–2013“. Stockholm: The Swedish Environmental Protection Agency

[33]      SEGLEN, P. (1997) „Why the impact factor of journals should not be used for evaluating research”. BMJ 314(1997): 498-502.

[34]      SKOVAJSA, M. (2014) Celková a zahraniční citovanost Sociologického časopisu: výsledky citační analýzy. Sociologický časopis/Czech Sociological Review 5(2014): 671-712.

[35]      ŠPÁLA, M. (2006) Impakt factor-dobrý sluha, ale zlý pán. Časopis českých lékařů 145.1(2006): 69-78.

[36]      TESTA, J. (2012) The Thomson Reuters journal selection process. [online] [cit. 2014-10-30]. Dostupné z: http://wokinfo.com/essays/journal-selection-process/ 

[37]      VAN RAAN, A. F. J. (2005) „Fatal attraction: Conceptual and methodological problems in the ranking of universities by bibliometric methods“. Scientometrics 1(62): 133-143.

[38]      VAVŘÍKOVÁ, L. (2015) Posouzení infometrických, bibliometrických a scientometrických metod v podpoře a hodnocení vědy a výzkumu v evropském kontextu. [disertační práce]. Praha, Universita Karlova v Praze.

[39]      VONDRÁK, T., ČADIL, V. (2010) Doporučení pro rozšíření současného informačního systému výzkumu, experimentálního vývoje a inovací. [výzkumná zpráva]. Praha, TC AV ČR.

[40]      WALTMAN, L., VAN ECK, N. J., VAN LEEUWEN, T. N., VISSER, M. S., VAN RAAN, A. F. J. (2011) „Towards a new crown indicator: Some theoretical considerations“. Journal of Infometrics 5 (2011): 37-47.

[41]      WALTMAN, L., VAN ECK, N. J., VAN RAAN, A. F. J. (2012) „Universality of citation distributions revisited”. Journal of the American Society for Information Science and Technology 1(63): 72-77.

[42]      ZITT, M., RAMANANA-RAHARY, S., BASSECOULARD, E. (2005) „Relativity of citation performance and excellence measures: from cross-field to cross-scale effects of field-normalisation“. Scientometrics 2(63): 373-401.