Zprávy pro účastníky EHK


V Plánu EHK na příslušný rok najdete pro každý program EHK výčet základních příloh závěrečné zprávy, které obdržíte jako vyhodnocení cyklů daného programu. V následující tabulce je uveden stručný přehled nejběžnějších dokumentů včetně jejich stručného popisu a pro každý dokument je připojena i ukázka.

 

Obsah

Závěrečná zpráva k vyhodnocení cyklu EHK


Přílohy závěrečné zprávy:
Certifikát

Histogramy

Osvědčení o účasti

Komplexní statistika

Roční přehled certifikátů

Roční přehled zkoušek

Výsledkový list (kvalitativní výsledky)

Výsledkový list (kvantitativní výsledky) s hodnocením srovnatelnosti

Výsledkový list (kvantitativní výsledky) s hodnocením srovnatelnosti i návaznosti

Výsledkový list (s bodovým hodnocením)

Výsledky včetně nejistot


Závěrečná zpráva k vyhodnocení cyklu EHK
Pokud chcete obrázek zvětšit, klepněte na něj.
 

Základním dokumentem, který každý účastník cyklu EHK dostává, je Závěrečná zpráva k vyhodnocení cyklu EHK. K této zprávě jsou přiloženy další přílohy, jejichž seznam je uveden v tabulce na konci závěrečné zprávy. Součástí závěrečné zprávy je i komentář supervizora k výsledkům cyklu. Součástí nebo přílohou závěrečné zprávy mohou být i další (zde neuvedené) tabulky, grafy, obrázky, přílohy apod.
Účastníci, kteří neodeslali poskytovateli své výsledky, sice závěrečnou zprávu dostávají také, ale bez příloh.

 

Přílohy závěrečné zprávy

Certifikát
Pokud chcete obrázek zvětšit, klepněte na něj.
 
Přesné podmínky, vymezující pravidla přidělování certifikátů jsou uvedeny v Plánu EHK na příslušný rok.
Certifikát je vydáván pouze pro některé zkoušky některých programů a každý účastník v něm nalezne výčet svých úspěšných zkoušek. Certifikát se tedy vydává pouze za správné výsledky a účastníkům slouží především při kontaktu s jejich partnery při řešení výzkumných úkolů, grantů apod.
Na každém řádku je uvedena jedna zkouška.
Přehled zkoušek, pro které daný účastník získal certifikát srovnatelnosti, je uveden v levém sloupci (sloupec Certifikace srovnatelnosti).
Jestliže některé zkoušky disponují vztažnými hodnotami s návazností na vyšší metrologické standardy, je ve druhém sloupci uveden seznam zkoušek, pro které účastník splnil kritéria certifikace návaznosti (sloupec Certifikace návaznosti).
Pokud pro některou zkoušku není srovnatelnost/návaznost hodnocena, je tato skutečnost v dokumentu uvedena v závorce.
Kritéria stanovená pro certifikaci srovnatelnosti a návaznosti se mohou lišit i v rámci jedné zkoušky a jsou vždy pro aktuální rok popsána v dokumentu Certifikace xxxx (kde xxxx je rok platnosti, aktuální verzi naleznete v oddílu Infoservis).
Pokud účastník uvedl identifikaci svého měřicího systému, je tato identifikace vytištěna u každé zkoušky (jako další sloupec).
 
Poznámka: Certifikáty jsou vytištěny na speciálním papíru s vodoznakem.

 

Histogramy
Pokud chcete obrázek zvětšit, klepněte na něj.
 
Histogramy jsou určeny pro přehledné zobrazení rozložení kvantitativních výsledků v případech, kdy není možné použít Youdenovy grafy. Jedná se zejména o následující situace:
  • V cyklu je použit jiný počet vzorků než 2.
  • Výsledky pro některý ze vzorků se pohybují v oblasti nuly.
  • Výsledky jsou vydávány v titrech.
Každý sloupec představuje počet výsledků, které se nacházely v intervalu popsaném na ose x.
Bílé sloupce zobrazují soubor všech výsledků.
Červené sloupce zobrazují výsledky vlastní skupiny (skupiny, do které patří výsledek účastníka). Vlastní skupina je popsána vpravo nahoře.
Pokud se nějaké výsledky nacházejí mimo rozsah osy x grafu (vlevo nebo vpravo), je jejich počet uveden v levém, resp. pravém dolním rohu.
Poloha vlastního výsledku účastníka je označena červeným puntíkem v horní části grafu. Pokud se výsledek účastníka nachází mimo rozsah osy x grafu, změní se puntík na šipku, která ukazuje, kterým směrem výsledek účastníka leží.
 
Poznámka: Účastníci mohou histogramy dostávat vytištěné barevně (viz ukázka vlevo) nebo ve stupních šedé (pak je červená barva reprezentována tmavě šedým odstínem). Každý účastník dostává histogramy pouze pro vzorky a zkoušky, jejichž výsledky uvedl.

 

Osvědčení o účasti
Pokud chcete obrázek zvětšit, klepněte na něj.
 
Přesné podmínky vymezující pravidla přidělování osvědčení o účasti jsou uvedeny v Plánu EHK na příslušný rok.
Osvědčení o účasti obsahuje výčet všech zkoušek, jejichž výsledky daný účastník v cyklu uvedl, a to bez ohledu na správnost těchto výsledků. Tento dokument slouží jako doklad účasti v příslušném cyklu EHK.
Pokud účastník uvedl identifikaci svého měřicího systému, je tato identifikace vytištěna u každé zkoušky (jako další řádek).
 
Poznámka: Osvědčení o účasti jsou vytištěna na speciálním papíru s vodoznakem.

 

Komplexní statistika
Pokud chcete obrázek zvětšit, klepněte na něj.
 
Účastník cyklu obdrží komplexní statistiku pouze pro ty zkoušky, jejichž výsledky uvedl.
Na prvním řádku je uvedena identifikace cyklu EHK a kód účastníka. Na druhém řádku je vytištěn název zkoušky.
V levé horní části (nad Youdenovým grafem) jsou vytištěny výsledky účastníka a dále identifikace skupiny, v jejímž rámci byly výsledky účastníka hodnoceny (např. Všechny výsledky nebo stejnorodá skupina identifikovaná použitím stejného principu měření a reagencií jednoho výrobce apod.).
Zbývající část listu můžeme rozdělit na 3 relativně nezávislé části, jejichž obsah je popsán na následujících řádcích:
  1. Youdenův graf (vlevo nahoře)
    Zobrazuje výsledky všech účastníků cyklu - osa x představuje výsledky pro vzorek A, osa y pro vzorek B. Je-li uvnitř grafu obdélníček, pak tento vymezuje oblast správných výsledků. Body, které zobrazují výsledky účastníků, kteří patří do stejné hodnocené skupiny jako výsledky účastníka, jsou vytištěny černě. Ostatní body jsou vytištěny šedě. Vlastní bod (výsledky) účastníka je vyznačen přerušovanou čarou.
  2. Historie P-skóre za poslední 2 roky (vpravo nahoře)
    V grafu je vynesena velikost P-skóre účastníka za poslední dva roky. Použitá symbolika je vysvětlena v legendě grafu.
    Interpretace vlastního P-skóre je velmi snadná:
        | P | < 1   výborný výsledek (uvnitř tolerančního rozpětí), bez připomínek
        | P | > 1   chybný výsledek, důvod k prověření
    Popis výpočtu P-skóre naleznete na naší internetové stránce zde.
    P-skóre je uvedeno i v případě, kdy výsledek účastníka patří do skupiny, která se nehodnotí (tzn. není k dispozici spolehlivá vztažná hodnota např. proto, že skupina je málo četná). O smysluplnosti uvedení P-skóre v těchto případech lze samozřejmě diskutovat, nicméně preferujeme variantu, kdy účastníkovi poskytneme informaci (byť s omezenou vypovídací hodnotou) před variantou, kdy účastník nedostane vůbec žádnou informaci (P-skóre neuvedeno - prázdný graf).
  3. Souhrnná statistika (spodní polovina stránky)
    Spočtené statistické parametry jsou uvedeny jednak pro všechny výsledky a zároveň i pro jednotlivé samostatně hodnocené skupiny. Skupiny mohou být vymezeny různě - např. stejným principem měření a výrobcem použitých reagencií nebo stejným principem měření a výrobcem přístroje apod. Směrodatná odchylka, variační koeficient a krajní kvantily (16. a 84.) jsou uvedeny pouze pro skupiny, jejichž četnost je alespoň 5. Na pravém okraji je graficky znázorněna vzájemná poloha vybraných statistických parametrů - použitá symbolika je vysvětlena v legendě.
    Ve sloupci označeném AV naleznete typ vztažné hodnoty, která byla pro příslušnou hodnocenou skupinu použita (např. RV, CVP apod.).
    U programů E1, E2 a TM, které realizujeme ve spolupráci s RfB, a u kterých jsou všechny statistické výpočty prováděny nad společnou databází SEKK+RfB, bývá někdy počet skupin (řádků ve statistice) poměrně vysoký a nepřehledný. Tento nepříznivý jev jsme eliminovali tím, že pro uvedené programy tiskneme do statistiky pouze ty skupiny, ve kterých se nachází alespoň jeden náš účastník. Úplný přehled (tedy úplná statistika) je pro případné zájemce k dispozici na naší internetové stránce.

 

Roční přehled certifikátů
Pokud chcete obrázek zvětšit, klepněte na něj.
 
Tento dokument slouží účastníkům k získání celkového přehledu o získaných certifikátech a jejich platnosti za uplynulý rok. Dokument tiskneme a na adresu účastníků zasíláme vždy 1x ročně, a to po uzavření vyhodnocení všech cyklů příslušného roku (tedy obvykle v lednu roku následujícího).
V přehledu jsou uvedeny všechny zkoušky, pro které je v systému EHK vydáván certifikát (bez ohledu na to, zda danou zkoušku provádí účastník uvedený v záhlaví dokumentu). U zkoušek, které daný účastník provedl, je uvedeno datum vystavení a datum platnosti posledního vystaveného certifikátu.
 
Poznámka: Tento přehled nezasíláme účastníkům, kteří se zúčastnili pouze cyklů určených pro systémy POCT.

 

Roční přehled zkoušek
Pokud chcete obrázek zvětšit, klepněte na něj.
 
Dokument slouží účastníkům k získání celkového přehledu o úspěšnosti jednotlivých zkoušek za uplynulý rok. Poskytuje též srovnání vlastní úspěšnosti (sloupec individuální výsledky) a souboru všech účastníků (celkové výsledky). Dokument tiskneme a na adresu účastníků zasíláme vždy 1x ročně, a to po uzavření vyhodnocení všech cyklů příslušného roku (tedy obvykle v lednu roku následujícího).
V tabulce je pro každý program EHK (a dále pro každou zkoušku) uveden počet výsledků zkoušek, které daný účastník v příslušném roce uvedl, a úspěšnost. Pro srovnání je uveden rovněž celkový přehled všech výsledků pro každý program EHK a zkoušku (včetně úspěšnosti).
 
V pravé polovině tabulky, určené pro celkové výsledky, se může stát (a je to celkem běžné), že součty v záhlaví (pro program EHK) neodpovídají součtu čísel u jednotlivých zkoušek daného programu. To je způsobeno tím, že v řádku záhlaví - pro program - se tisknou celkové součty za celý program, avšak zkoušky jsou uvedeny pouze ty, které provedl příslušný účastník. Pokud tedy účastník neprovádí všechny zkoušky daného programu, pak v přehledu chybí některé řádky a celkové součty uvedené v řádku pro cyklus jsou větší než by odpovídalo součtu položek u jednotlivých (zde vytištěných) zkoušek.
 
Poznámka: Tento přehled nezasíláme účastníkům, kteří se zúčastnili pouze cyklů určených pro systémy POCT.

 

Výsledkový list (kvalitativní výsledky)
Pokud chcete obrázek zvětšit, klepněte na něj.
 
Výsledkový list pro kvalitativní výsledky shrnuje do jediného dokumentu vlastní výsledky účastníka a souhrnnou statistiku všech výsledků (četnostní tabulka) s vyznačenými vztažnými hodnotami. Použitá symbolika je vysvětlena v legendě.
Dlouhodobá úspěšnost za 2 roky (jak pro jednotlivé zkoušky, tak pro celý cyklus) je spočtena dle obvyklých pravidel - standardně je tedy za úspěšnou považována taková zkouška, pro kterou účastník uvedl správný (očekávaný) nebo alespoň akceptovatelný (podmíněně správný) výsledek ve všech vzorcích.
V řádku s názvem zkoušky jsou vytištěny rovněž základní informace, které o zkoušce uvedl účastník (např. identifikace měřicího systému, princip měření, výrobce reagencií apod.).
 
Důležitá poznámka: Pokud jsou pro danou zkoušku požadovány jak kvantitativní tak kvalitativní výsledky, jsou do dlouhodobého hodnocení účastníka vždy zahrnuty pouze kvalitativní výsledky (na kvantitativní není brán ohled).

 

Výsledkový list (kvantitativní výsledky) s hodnocením srovnatelnosti
Pokud chcete obrázek zvětšit, klepněte na něj.
 
Výsledkový list pro kvantitativní výsledky podává přehlednou informaci o vlastních výsledcích a porovnává je se vztažnými hodnotami. Veškerá symbolika je vysvětlena v legendě.
Dlouhodobá úspěšnost za 2 roky (jak pro jednotlivé zkoušky, tak pro celý cyklus) je spočtena z údajů ve sloupci C (celkové hodnocení). Řádky, obsahující ve sloupci C "+" jsou započteny jako úspěšné, řádky obsahující "-" jako neúspěšné a řádky obsahující "±" nejsou do dlouhodobé statistiky úspěšnosti započteny vůbec.
V řádku s názvem zkoušky jsou vytištěny rovněž základní informace, které o zkoušce uvedl účastník (např. identifikace měřicího systému, princip měření, výrobce reagencií apod.).
 
Důležitá poznámka: Pokud jsou pro danou zkoušku požadovány jak kvantitativní tak kvalitativní výsledky, jsou do dlouhodobého hodnocení účastníka vždy zahrnuty pouze kvalitativní výsledky (na kvantitativní není brán ohled).

 

Výsledkový list (kvantitativní výsledky) s hodnocením srovnatelnosti i návaznosti
Pokud chcete obrázek zvětšit, klepněte na něj.
 
V programech, ve kterých je hodnocena jak srovnatelnost, tak návaznost (program Analyty krevního séra, Endokrinologie 1) je pro výsledky některých zkoušek hodnocena srovnatelnost, pro jiné návaznost a pro některé dokonce obojí. Navíc mohou být pro hodnocení srovnatelnosti a návaznosti nastavena různá kritéria.
Srovnatelnost lze obecně hodnotit vždy, když je k dispozici dostatek výsledků.
Návaznost lze však hodnotit pouze u výsledků těch zkoušek, pro které existuje vztažná hodnota s návazností na vyšší metrologický standard.
V tomto typu výsledkového listu je proto pro každou zkoušku uvedeno odpovídající hodnocení výsledků - hodnocení srovnatelnosti (srovnání výsledků s konsenzuálními vztažnými hodnotami) a/nebo návaznosti (srovnání výsledků s referenčními hodnotami).
Veškerá symbolika je vysvětlena v legendě.
V řádku s názvem zkoušky jsou vytištěny rovněž základní informace, které o zkoušce uvedl účastník (např. identifikace měřicího systému, princip měření, výrobce reagencií apod.).
 

 

Výsledkový list (s bodovým hodnocením)
Pokud chcete obrázek zvětšit, klepněte na něj.
 

 

 
V některých programech EHK jsou hodnoceny nejenom jednotlivé odpovědi účastníka (ve smyslu správná nebo chybná odpověď), ale navíc jsou tyto odpovědi i bodovány. Smyslem bodového hodnocení je poskytnout celkovou přehlednou informaci o určité skupině dílčích otázek/zkoušek, které jsou na základě bodového zisku účastníka ohodnoceny jako celek. Tento přístup volíme zejména v případech, kdy se výsledky (a tedy i výsledkový list) skládají z mnoha desítek dílčích odpovědí, v nichž nemusí být poměr správných a chybných odpovědí na první pohled dobře patrný a to jak na úrovni účastníka, tak na úrovni celého souboru výsledků.
Bodové hodnocení tedy poskytuje "celkovou známku" tam, kde se výsledkový list skládá z příliš mnoha jednotlivých dílčích odpovědí.
V současné době je tento typ hodnocení používán v následujících programech EHK:
  • Hodnocení nátěru periferní krve (DIF) - samostatně jsou na základě bodového zisku hodnoceny jednotlivé vzorky (A a B). V závěru výsledkového listu jsou tedy hodnoceny 2 zkoušky (viz příklad na obrázcích vlevo).
  • Nátěr periferní krve - fotografie (NF) - samostatně jsou na základě bodového zisku hodnoceny jednotlivé fotografie (1, 2, 3 a 4). V závěru výsledkového listu jsou tedy hodnoceny 4 zkoušky.
  • Nátěr kostní dřeně - fotografie (NKDF) - samostatně jsou na základě bodového zisku pro každého pacienta hodnoceny jednotlivé fotografie (foto 1 a 2) a celkový popis nátěru. Protože pacienti jsou dva, je v závěru výsledkového listu hodnoceno 6 zkoušek.
 
Poznámka: Pravidla bodového hodnocení jsou k dispozici v oddíle Infoservis.

 

Výsledky včetně nejistot
Pokud chcete obrázek zvětšit, klepněte na něj.
 
Tento dokument dostávají pouze ti účastníci, kteří kromě vlastních výsledků uvedli i nejistoty svých výsledků.
Pro každou zkoušku a vzorek je uveden jeden graf.
V záhlaví grafu je uveden název zkoušky a označení vzorku. Dále je zde uveden počet výsledků zobrazených v grafu a počet výsledků, které svou velikostí přesahují rozsah osy y grafu (jsou mimo graf). Prostřední vodorovná přímka zobrazuje polohu vztažné hodnoty (AV). Přerušované vodorovné čáry po obou stranách této přímky zobrazují rozšířenou nejistotu této vztažné hodnoty (UAV). Horní a dolní plné přímky pak vymezují oblast Dmax (přijatelný rozdíl v procentech).
Výsledky jednotlivých účastníků jsou zobrazeny jako vzestupně seřazené body, přičemž ke každému bodu je po obou stranách zkonstruována úsečka, představující účastníkem uvedenou nejistotu výsledku měření (do roku 2011 včetně představovaly úsečky uc, od roku 2012 úsečky znázorňují rozšířenou nejistotu Uc při použití koeficientu rozšíření k = 2). V pravém dolním rohu grafu je uveden výsledek účastníka a v grafu je vlastní úsečka účastníka označena tučně.
 
Základní interpretaci polohy vlastního výsledku a velikosti rozšířené nejistoty (úsečky) uvádíme na modelovém příkladu dle obrázku níže:

  • Účastníci 1, 2, 10 a 11 uvedli výsledky stanovení mimo přijatelný rozdíl v procentech (Dmax).
  • Účastníci 3 a 9 uvedli výsledky uvnitř pásu přijatelných výsledků, avšak nejistoty jejich výsledků (vymezující oblast pravděpodobné skutečné hodnoty) z tohoto pásu vybočují (i když pouze jednostranně). K jejich správnému výsledku měření tak přispěla i trocha štěstí (pravděpodobnost, že jejich výsledek mohl padnout mimo oblast přijatelných výsledků, není zcela zanedbatelná).
  • Extrémní hodnotu nejistoty výsledku udal účastník 5: výsledek měření je v téměř ideální shodě se vztažnou hodnotou, avšak jeho nejistota je tak velká, že naměřená hodnota může se značnou pravděpodobností ležet i mimo oblast přijatelných výsledků.
  • Za extrémní lze považovat i výsledek účastníka 6, který udal nejistotu vlastního výsledku měření významně nižší než ostatní účastníci i než je udaná nejistota vztažné hodnoty (přerušované přímky). To ukazuje, že i zdánlivě vynikající výsledek může být podezřelý.

Osa y grafu je vždy kalibrována v %.
Vztažné hodnoty, nejistoty i výsledky účastníků jsou přepočteny na %. Přepočet se provádí tak, že vztažná hodnota je rovna 100 % a následně je pomocí této hodnoty přepočtena na % jak nejistota vztažné hodnoty, tak výsledky všech účastníků. Takto přepočtená data jsou pak zobrazena v grafu tak, jak ukazuje obrázek vlevo. Díky tomuto přístupu není nutné konstruovat velké množství grafů (pro každou hodnocenou skupinu zvlášť).
 

Podrobné informace o použití informace o nejistotě výsledku při posuzování jeho shody s předem danými mezemi naleznete zde.