Kvalita rozvojové spolupráce roste, veřejná správa boduje, ale kde jsou kapacity?

Kvalita dvoustranných projektů české rozvojové spolupráce, které byly financované Českou rozvojovou agenturou v období 2012–2018, stabilně rostla. Systém dvoustranné spolupráce je za předpokladu navýšení lidských zdrojů připravený pro navýšení rozpočtu, k němuž se Česká republika mezinárodně zavázala.

Kvalita projektů ČRA příliš nezávisí na formě zadání zakázky, typu realizátora ani země realizace, což svědčí o vyváženém nastavení současného mixu teritoriálních priorit a podílu nevládních neziskových organizací a firem na realizaci projektů. Výjimku tvoří projekty realizované veřejnou správou, které vyčnívají svojí vyšší kvalitou.

Udržitelnost projektů a jejich příspěvek k řádné správě věcí veřejných v rozvojových zemích jsou zároveň nejslabšími články projektů, a proto by Ministerstvo zahraničních věcí ČR mělo v souladu s usnesením vlády navýšit počet zaměstnanců a zaměstnankyň ČRA v prioritních zemích.

ÚVOD: POZITIVNÍ TRENDY V BUDOVÁNÍ KULTURY UČENÍ

Nezávislé evaluace projektů rozvojové spolupráce jsou klíčovou podmínkou pro zjištění, zda mají miliardové výdaje ze státního rozpočtu na zahraniční rozvojovou spolupráci (ZRS) vůbec smysl. Aby mohli občané, daňoví poplatníci a „hlídací psi“ tuto kontrolu uplatňovat, musí být evaluace také transparentně zveřejňovány a intenzivně využívány. Od roku 1995, kdy byla obnovena česká rozvojová spolupráce, udělalo Ministerstvo zahraničních věcí ČR (MZV) jako její gestor veliký kus práce tímto směrem. Do roku 2007 bylo sice provedeno několik desítek evaluací, ale pouze čtyři byly publikovány. Jejich metodika nebyla jednotná a kvůli účasti tehdejšího Rozvojového střediska Ústavu mezinárodních vztahů (ÚMV) jako předchůdce České rozvojové agentury (ČRA) je nešlo ani označit za nezávislé. Transparentní evaluace, realizované externími experty a expertkami s potřebnou kvalifikací na základě výběrového řízení, byly obnoveny až od roku 2010. Nejprve se zaměřovaly na projekty započaté resorty před zřízením ČRA a teprve od roku 2012 zavedly jednotnou hodnotící škálu podle evaluačních kritérií OECD DAC z roku 1991.

První hodnocení Výboru pro rozvojovou pomoc Organizace pro hospodářskou spolupráci a rozvoj (OECD DAC) z roku 2016 formou peer review ocenilo českou rozvojovou spolupráci za „pozitivní kulturu učení“, zároveň ale kritizovalo „omezenou možnost posílení role evaluací v celém systému“. V současnosti probíhá v průměru šest evaluací ročně a podle Plánu ZRS na ně bude v roce 2019 vynaloženo méně než 1 % nákladů na samostatné projekty. Evaluace tak postihují projekty ve výši pouhé desetiny objemu rozpočtu. Dvoustranná pomoc je ale hodně roztříštěná. Podle Plánu ZRS pro rok 2019 bude Česká republika působit celkem ve 13 sektorech v různých zemích, což nemohou evaluace ani zdaleka postihnout. MZV sice v roce 2014 nechalo provést tzv. metaevaluaci, komplexní zhodnocení 20 evaluačních zpráv z let 2012–2013. Ty se ale zaměřovaly hlavně na kvalitu evaluačních zpráv a ne na kvalitu hodnocených projektů. Za jednoznačně pozitivní krok lze označit novou Metodiku ZRS, která poprvé formalizuje proces nakládání s evaluačními doporučeními a stanovuje povinnost každoročního vyhodnocení jejich zavádění.

Cílem tohoto policy paperu je souhrnné vyhodnocení evaluačních zpráv projektů dvoustranné ZRS. Nezaměřuje se na obsahovou analýzu hodnocení evaluátorů a evaluátorek, ale provádí pouze jednoduchou deskriptivní statistickou analýzu hodnocených evaluačních kritérií a průřezových témat ve vztahu k dalším aspektům projektů. Metaevaluace se snaží v duchu OECD DAC odpovědět na otázku, „co funguje, co nefunguje a proč“ s tím, že příčiny a související doporučení dovozuje nejen na základě statistické analýzy, ale i na základě zjištění dlouhodobé analýzy ZRS ze strany ÚMV od roku 2007.

DATA, METODOLOGIE A OMEZENÍ

Souhrnná analýza vyhodnocuje výsledky evaluačních zpráv 35 dvoustranných projektů ZRS z let 2012–2018, pro které je dostupné slovní hodnocení evaluačních kritérií a průřezových témat. Projekty, často návazné, byly realizovány v letech 2006–2017 v partnerských zemích i v Česku v gesci ČRA (zpočátku i v gesci MZV). Kvůli porovnatelnosti byly ze vzorku vyloučeny projekty humanitární po- 3 moci, transformační spolupráce, projekty v gesci jiných resortů, evaluace programu vládních stipendií a evaluace daru Palestinské samosprávě.

Čtyři stupně hodnocení jednotlivých kritérií projektů „vysoká – spíše vysoká – spíše nízká – nízká“ byly za účelem statistického zpracování převedeny na diskrétní proměnné odpovídající tradičnímu známkovému hodnocení na českých školách. Pokud nebylo hodnocení daného kritéria nebo tématu možné, zejména z důvodu nejasnosti projektové dokumentace, kritérium bylo vyřazeno ze vzorku. Vzhledem k charakteru evaluovaných projektů považuje analýza univerzity jako realizátory za součást nevládních neziskových organizací (NNO). V případě evaluace návazných projektů byly rozpočty agregovány.

Celá metaanalýza se opírá o silný předpoklad reprezentativnosti vzorku evaluací. Evaluační plán schvaluje Rada pro ZRS na základě doporučení své stálé pracovní skupiny pro evaluace, v níž jsou zastoupeny resorty i nevládní a byznysové platformy. Vzhledem k celkové velikosti vzorku 35 projektů se očekává, že zkreslení výběru bude přijatelné, nicméně srovnání průměrných hodnot na základě dalších kritérií výběru je často omezené spíše velikostí podmnožin vzorku. V souladu s tím je metaanalýza opatrná se silnými tvrzeními a upozorňuje především na jednoznačné trendy a odchylky od normy. Datový soubor statistické analýzy je dostupný na bit.ly/Metaevaluace.

KVALITA JE NA VZESTUPU, ALE REALIZACE FIREM A NNO JSOU SLABŠÍ BEZ ROZDÍLU

Výsledná průměrná známka všech českých projektů je 2,4. Jejich kvalita je tedy celkově spíše vysoká než nízká. Bez porovnání s rozvojovými projekty dalších donorů a projekty veřejné správy v České republice lze z tohoto tvrzení těžko více vyvozovat. Nicméně jako jednoznačný lze označit trend zlepšování průměrné známky až na 1,9 pro novější projekty evaluované v roce 2018. Vzhledem k dřívějším krokům vedoucím k vyšší kvalitě evaluací lze také očekávat jejich větší přesnost a přísnost, takže celkový posun kvality může být ve skutečnosti ještě vyšší. Na druhou stranu asi z poloviny se na tomto trendu promítají všechny evaluace z roku 2018, které se zaměřily na projekty uskutečněné českou veřejnou zprávou. Spolu s dalším projektem veřejné správy evaluovaným v roce 2016, jenž dosáhl také výborného hodnocení, tak veřejná správa ční se známkou 1,9 nad ostatními realizátory, tj. firmami a NNO. Ty mají shodnou známku 2,5. V souladu s praxí ČRA, kdy NNO realizují často projekty v „měkkých“ sociálních sektorech a firmy formou dodávky ve veřejné zakázce do „tvrdých“ sektorů jako voda a sanitace, není ani velký rozdíl mezi dotacemi a zakázkami: zdá se, že identifikace a formulace projektů ČRA a dalšími aktéry, zejména NNO, je co do kvality celkově rovnocenná. Na rozdíl od projektů firem a veřejné správy nedosahuje u NNO jako realizátorů a dotací jako způsobu financování kritérium relevance (či potřebnosti) maximální průměrné známky 1, což svědčí o perfektním souladu projektů identifikovaných a formulovaných ČRA.

Nejslabším kritériem českých projektů je tradičně udržitelnost výsledků projektu s průměrnou známkou 3,1. Udržitelnost projektů realizovaných firmami je o něco nižší než NNO, ale pokud z analýzy vyjmeme hodnocené projekty v oblasti zvyšování povědomí a globálního vzdělávání, které jsou realizované v České republice, tak se firmy a NNO, resp. zakázky a dotace, ukazují opět jako rovno-cenné – naopak udržitelnost projektů veřejné správy dosahuje neprůměrné známky 2,1. Na rozdíl od vyšší udržitelnosti projektů realizovaných NNO v České republice jsou naopak dopady domácích projektů nižší než u všech projektů realizovaných v zahraničí. Vypovídací schopnost dat ale komplikuje, že evaluace se nadměrně zaměřují na projekty NNO: těch bylo o polovinu více než evaluací projektů veřejné správy a firem dohromady.

KVALITA NA ZEMI REALIZACE NEZÁLEŽÍ, ALE EVALUACÍ JE MÁLO

Statistická analýza umožňuje spočítat průměrné hodnocení i podle konkrétních zemí realizace. Počet evaluovaných projektů v současných programových zemích se pohybuje od tří (Kambodža) do devíti (Gruzie), a proto je kvůli slabým vzorkům těžké vyvozovat silné závěry. Zdaleka nejlépe vycházejí evaluace dvou projektů v Srbsku a Mongolsku, kde byla programová ZRS ukončena. Na druhou stranu, pokud všechny země rozdělíme na země středního příjmu a nejméně rozvinuté země, ani mezi těmito skupinami nenajdeme výrazné rozdíly. Vzhledem k obecně nízkým kapacitám veřejné správy a samosprávy v nejméně rozvinutých zemích je i udržitelnost projektů zde realizovaných pouze o 0,3 bodu nižší než v zemích středního příjmu. ČRA v bohatších zemích obecně realizuje výrazně větší objem prostředků než v zemích nejchudších, a proto je pochopitelné, že se evaluace na ně zaměřují přednostně, nicméně trojnásobný počet evaluací v zemích středního příjmu se zdá neadekvátní.

Vyrovnané výsledky přináší i analýza podle velikosti projektů. Malé projekty (včetně případných návazných projektů) do celkové výše rozpočtu 10 mil. Kč z veřejných zdrojů se vykazují horší relevancí, střední projekty do 20 mil. největší udržitelností, celkově ale střední a velké projekty nad 10 mil. Kč, resp. 20 mil. Kč, mírně vedou nad malými projekty. Vzhledem k agregaci rozpočtů návazných projektů je ovšem možné činit jen velmi opatrné závěry. To stejné platí i o kategorizaci projektů podle sektoru určeného s přesností na desítkovou číslici podle Globálního standardu OECD (CRS). Nicméně sektor veřejné správy, který se víceméně, ne však plně překrývá s veřejnou správou jako realizátorem, opět vyčnívá s celkovou, zcela výjimečnou známkou 1,6, zatímco sektor zemědělství, ve kterém bylo hodnoceno nejvíce projektů (10), má známku 2,9 a také nejhorší kritérium udržitelnost se známkou 3,8.

Z hlediska gesce dopadly zdaleka nejhůře dva projekty v čisté gesci MZV, ale vzhledem k omezenému vzorku nelze toto zobecňovat. Tato skutečnost však upozorňuje na další významnou nerovnováhu vedle upozadění firem a nejméně rozvinutých zemí, kdy projekty ČRA jsou z hlediska počtu i objemu prostředků nepoměrně častěji evaluovány než další projekty v gesci MZV, jako je transformační spolupráce, humanitární pomoc, apod.

VEŘEJNÁ SPRÁVA JE NAŠÍ TEMATICKOU VÝHODOU, ALE SAMI JÍ NEDOKÁŽEME DÁT KAPACITY

O přínosech projektů v širším kontextu svědčí průřezová kritéria evaluací od životního prostředí a klimatu přes gender, lidská práva a dobrou správu veřejných. Takzvaná metaevaluace MZV upozornila na nejednotnost a různou kvalitu jejich hodnocení v evaluačních zprávách. Přesto lze říci, že průměrné hodnocení průřezových kritérií je shodné mezi dotacemi a zakázkami ČRA podobně jako 5 mezi typy realizátorů. Celkově se průměrná hodnocení zohlednění životního prostředí a klimatu, lidských práv a genderu i viditelnosti projektů vejdou do známky 1,9, naopak zde ale vyčnívá jako průřezové kritérium řádná správa věcí veřejných s horší známkou 2,3. Spolu s ještě horším celkovým průměrným skóre v evaluačním kritériu udržitelnosti to poukazuje na zřejmě nejslabší stránku české dvoustranné rozvojové spolupráce: slabé napojení českých aktivit na místní správu a samosprávu. Toto zjištění také otevírá důležitou otázku, do jaké míry špatné skóre vyplývá ze silné vázanosti české pomoci na české realizátory a jak velký prostor zde vůbec leží pro další zlepšení.

Docházíme tak k paradoxu, kdy lze české projekty technické asistence, které předávají expertizu na úrovni srovnatelného typu orgánů veřejné správy, označit za vlajkovou loď „rozvojovky“. Ta by proto zasloužila větší pozornost a finanční prostředky. Jakkoli celkově kvalita českých dvoustranných projektů roste, překážkou pro její další navyšování jsou nedostatečné lidské kapacity naší veřejné správy, jmenovitě ČRA a jejich pracovníků a pracovnic při zastupitelských úřadech, případně rozvojových diplomatů a diplomatek MZV. Ty jsou totiž klíčové pro lepší zapojení veřejné správy a samospráv v rozvojových zemích pro lepší správu a udržitelnost výsledků českých projektů. Spíše než na celkový objem finančních prostředků pro rozvojovou spolupráci je tedy nyní nutné se zaměřit v souladu s usneseními vlády na dokončení existujícího systému, konsolidaci a nižší fluktuaci kapacit a především na zajištění nárůstu systemizovaných míst v ČRA a na zastupitelských úřadech odpovídajícímu počtu a finančnímu objemu projektů. Jakkoli MZV učinilo velký pokrok v pojetí evaluací nejen jako kontroly veřejných prostředků, ale zejména jako kultury vzájemného učení a zlepšování na základě minulých chyb, mezi nedostatečné kapacity české veřejné správy lze zařadit i nedostatečné kapacity v ústředí MZV pro zajištění většího počtu evaluací. Tato metaanalýza upozornila na v mnoha oblastech malé vzorky evaluovaných projektů, takže je prakticky nemožné s výjimkou projektů veřejné správy na základě evidence říci, které sektory a které země jsou z hlediska kvality projektů nejperspektivnější. V kombinaci se slabým zjištěním ohledně optimální velikosti projektů je také zřejmé, že zde stále leží prostor pro omezení počtu sektorů a větší koncentraci české rozvojové spolupráce.

ZÁVĚR A DOPORUČENÍ

Kvalita projektů dvoustranné rozvojové spolupráce financovaných ČRA soustavně roste. Zvláště agenturou financované projekty v oblasti veřejné správy se ukazují jako nadprůměrné. Toto zjištění je v souladu s OECD DAC, které upozorňuje na obecně nižší kvalitu projektů vázané pomoci s výjimkou technické asistence. Jinak souhrnná analýza evaluačních zpráv poukazuje na vyvážený mix typu realizátorů, způsobu financování i geografického zaměření. Nízká udržitelnost a slabší příspěvek projektů financovaných ČRA k dobré správě věcí veřejných přímo v rozvojových zemích poukazuje zejména na systémovou neschopnost české veřejné správy zajistit pro realizaci ZRS dostatek lidských kapacit na místě. 6 Ministerstvo zahraničních věcí ČR by proto mělo jako gestor zahraniční rozvojové spolupráce:

▸ V souladu s usnesením vlády č. 468 ze dne 21. června 2017 navýšit počet zaměstnanců a zaměstnankyň ČRA, a to zejména jejich pracovníků a pracovnic v prioritních zemích, aby agentura mohla nadále zvyšovat kvalitu svých projektů a díky užší spolupráci s místní veřejnou správou a samosprávou dosahovat jejich větší udržitelnosti.

▸ Nejméně zdvojnásobit pracovní sílu MZV, která se věnuje rozvojovým evaluacím, i objem financí, který je na ně vyčleněný, aby bylo možné pokrýt šedá místa mapování kvality dvoustranných projektů. Zvláště je třeba zaměřit evaluace na realizace firem, projekty v nejméně rozvinutých zemích a v neposlední řadě programy ve vlastní gesci MZV i v gesci dalších resortů.

▸ Spolu s ČRA aktivně vyhledávat témata a podporovat kapacity české veřejné správy pro přímé předávání know-how a podporu materiálních a lidských kapacit veřejné správy v partnerských zemích. Právě oblast technické asistence se na základě dat ukazuje jako jednoznačná komparativní výhoda České republiky jakožto malého donora s pomocí převáženě vázanou na české realizátory.

Ondřej Horký-Hlucháň je výzkumný pracovník Ústavu mezinárodních vztahů, Centrum globální politické
ekonomie.

PODĚKOVÁNÍ
Barboře Paulové za zpracování vstupních dat.