Hodnoticí standard

Autorizující orgán: Ministerstvo vnitra
Skupina oborů: Informatické obory
Povolání: Softwarový tester
Platnost standardu: od 29.4.2019 do neomezeně
Kvalifikační úroveň: 5

Hodnoticí standard


Kritéria a způsoby hodnoceni

Název odborné způsobilosti Úroveň

Orientace v testování softwaru

Kritéria hodnocení Způsob ověření
a Uvést, co je to softwarová chyba (anglický termín software bug) Písemné ověření
b Uvést hlavní důvody vzniku chyb v softwaru Písemné ověření
c Na zadaných dvou příkladech problémů v aplikaci rozpoznat, zda se jedná o prvotní příčinu chyby (anglický termín root cause), nebo se jedná o následek chyby Praktické předvedení a ústní ověření
d Pomocí dvou příkladů zdůvodnit, proč je testování softwaru potřebné Písemné ověření
e Vysvětlit, proč většina netriviálních programů obsahuje chyby Písemné ověření
f Popsat, jak testování přispívá ke zvyšování kvality softwaru Písemné ověření
g Vysvětlit, proč je třeba testovat ve všech fázích vývoje softwaru Písemné ověření
h Nakreslit graf závislosti ceny opravy chyby na fázi vývoje softwaru (fáze: návrh, vývoj, testování a údržba softwaru) Praktické předvedení
i Vysvětlit, proč ve většině reálných případů není možné provést všechny známé testovací scénáře Písemné ověření
j Zdůvodnit, proč je třeba začít testovat co nejdříve během cyklu vývoje softwaru Písemné ověření
k Vysvětlit, proč u softwaru dochází ke shlukování chyb a uvést příklad, kdy tato situace nastane Písemné ověření
l Uvést, proč manuální opakování stejných testovacích scénářů vede ke snižování pravděpodobnosti nalezení chyb Písemné ověření
Je třeba splnit všechna kritéria.
5

Testování v životním cyklu softwaru

Kritéria hodnocení Způsob ověření
a Vysvětlit vztah mezi vývojem, testovacími aktivitami a výstupy z testování v životním cyklu vývoje softwaru Písemné ověření
b Vysvětlit, jak musí být modely životního cyklu softwaru přizpůsobeny kontextu projektu a produktovým charakteristikám a co to znamená pro testování Písemné ověření
c Uvést charakteristiky správného testování, které jsou použitelné v jakémkoliv modelu životního cyklu softwaru Písemné ověření
d Vyjmenovat úrovně testování a stručně popsat hlavní cíle pro každou úroveň Písemné ověření
e Pro zadanou úroveň testování popsat typické objekty testování, typické cíle testování (např. funkční nebo strukturální), související pracovní produkty, role v testování, typy defektů a selhání, která mají být identifikována Písemné a ústní ověření
f Na zadaném příkladu uvést, o který typ testování softwaru se jedná (funkční, nefunkční, strukturální, testování změn) a ten vysvětlit a popsat Praktické předvedení a ústní ověření
g Popsat vazbu mezi strukturálním testováním a jednotlivými úrovněmi testování Písemné ověření
h Na příkladu nefunkčních požadavků identifikovat a popsat nefunkční typy testování Praktické předvedení a ústní ověření
i Na zadaném příkladu zvolit a popsat testování založené na analýze struktury nebo architektury softwarového systému Praktické předvedení a ústní ověření
j Popsat účel a charakteristické rysy konfirmačního (také nazývaného certifikačního) a regresního testování Písemné ověření
k Vybrat, které ze zadaných čtyř typů testů se provádějí v testování údržby (testování existujícící softwarové aplikace) a které se provádějí v testování nové aplikace Praktické předvedení
l Určit indikátory pro testování údržby Písemné ověření
m Popsat roli regresního testování a dopadové analýzy při údržbě aplikace Písemné ověření
n Popsat, co je priorita chyby a jaký je rozdíl od severity Písemné ověření
o Popsat možné způsoby zvýšení efektivity testování Písemné ověření
Je třeba splnit všechna kritéria.
5

Využívání technik pro návrh testů softwaru

Kritéria hodnocení Způsob ověření
a Vysvětlit rozdíly mezi statickým a dynamickým testováním Písemné ověření
b Uvést tři příklady statických testů používaných během vývoje softwarového produktu Písemné ověření
c Vysvětlit rozdíly mezi tzv. black-box a white-box testováním Písemné ověření
d Na políčku formuláře reálné aplikace vysvětlit způsob testování mezních číselných hodnot Písemné ověření
e Ze seznamu situací, které mohou nastat v průběhu testování, vybrat tu, ve které se použije průzkumné testování (anglický termín exploratory testing) Písemné ověření
f Na zadaném stavovém diagramu ukázat průchody symbolizující pozitivní a negativní test Praktické předvedení
g Vyplnit do připraveného formuláře ukázkový testovací scénář podle zadané specifikace Praktické předvedení a ústní ověření
h Vysvětlit, kdy je výhodnější manuální a kdy automatizované testování Písemné ověření
Je třeba splnit všechna kritéria.
5

Řízení kvality softwaru

Kritéria hodnocení Způsob ověření
a Vysvětlit výhody a nevýhody nezávislého testování Písemné ověření
b Popsat typické role testera v týmu včetně činností náležících těmto rolím Písemné ověření
c Vyjmenovat úrovně a cíle plánování testování Písemné ověření
d Uvést základní činnosti při přípravě a provedení testů, které je nutné začlenit do plánu testování Písemné ověření
e Na zadaném příkladu seřadit tři uvedené aplikace podle pracnosti jejich testování (od nejvyšší po nejnižší) a řazení zdůvodnit Praktické předvedení
f Na konkrétním případu k testování (integrační testování, akceptační testování a testování použitelnosti) vysvětlit příslušná vstupní a výstupní kritéria Praktické předvedení a ústní ověření
g Vyjmenovat a charakterizovat metriky používané pro monitorování přípravy a vykonávání testů Písemné ověření
h Vysvětlit, jak se určuje úroveň produktového rizika Písemné ověření
i Uvést charakteristické rysy projektového a produktového rizika Písemné ověření
j Na zadaném příkladu určit, zda se jedná o produktové nebo projektové riziko Praktické předvedení
k Na zadaném příkladu vysvětlit, jak může být v plánování testování použita analýza a řízení rizik Praktické předvedení a ústní ověření
Je třeba splnit všechna kritéria.
5

Orientace v nástrojích pro testování softwaru

Kritéria hodnocení Způsob ověření
a Popsat, k čemu slouží nástroje pro správu chyb Písemné ověření
b Podle zadaného popisu chyby vyplnit záznam o chybě ve struktuře běžně používané v nástrojích pro správu chyb Praktické předvedení a ústní ověření
c Nakreslit a popsat graf běžného životního cyklu chyby včetně přechodů mezi jednotlivými stavy Praktické předvedení a ústní ověření
d Uveďte příklad testovacího nástroje pro následující oblasti testování: řízení testování, správa testovacích scénářů, testování výkonu a správa chyb Písemné ověření
e Uvést, jaké metriky vyvíjeného softwaru se typicky sledují v nástrojích pro řízení testování (anglický termín test management tools) Písemné ověření
f Uvést, které charakteristiky aplikace sledujeme při provedení zátěžových testů Písemné ověření
g Uvést, k čemu slouží analýza pokrytí zdrojového kódu testy (anglický termín code coverage) Písemné ověření
Je třeba splnit všechna kritéria.
5

Testování softwarových aplikací

Kritéria hodnocení Způsob ověření
a Na předloženém počítači/notebooku, který má nastavenou IP adresu z privátního rozsahu, připraveném pro testování aplikace vyžadující síťovou konektivitu:
1. Zobrazit konfiguraci TCP/IP
2. Pomocí zobrazené konfigurace zjistit adresu sítě a podsítě, v které se počítač nachází
3. Ověřit konektivitu na konkrétní server (v interní síti, na internetu)
4. Zobrazit nastavení firewallu
5. Předvést změnu DNS serveru v konfiguraci TCP/IP
Praktické předvedení a ústní ověření
b Na předloženém počítači/notebooku připraveném pro testování desktopové aplikace s uživatelským rozhraním:
1. Zobrazit seznam diskových oddílů (pomocí uživatelského rozhraní nebo příkazové řádky)
2. Zjistit kapacitu diskových oddílů a jejich aktuální zaplnění
3. Předvést přejmenování souboru včetně jeho přípony (např. z pokus.txt na pokus.md)
Praktické předvedení a ústní ověření
c Na předloženém počítači/notebooku připraveném pro testování desktopové aplikace s uživatelským rozhraním:
1. Zobrazit seznam aktuálně běžících procesů v operačním systému
2. Ukončit aplikaci s uživatelským rozhraním (např. aplikace poznámkový blok ve Windows) bez využití uživatelského rozhraní této aplikace
Praktické předvedení a ústní ověření
d Na předloženém počítači/notebooku připraveném pro testování aplikace využívající podporu více lokálních uživatelských účtů operačního systému:
1. Zobrazit seznam lokálních uživatelů
2. Vytvořit dva nové lokální uživatele
3. Na lokálním souborovém systému vytvořit soubor vlastněný prvním uživatelem. Nastavit práva souboru tak, aby byl ostatním uživatelům nepřístupný pro čtení i zápis. Demonstrovat přihlášením druhého uživatele a jeho přistoupením k tomuto souboru správnost provedeného nastavení
Praktické předvedení a ústní ověření
e Ze zadaného seznamu chyb, které mohou ovlivnit výsledek testu testované aplikace, vybrat chybu, která je způsobena poruchou hardwaru Písemné ověření
f Z předložených odpovědí vybrat tu, která obsahuje úplný seznam služeb běžně provozovaných na síťových portech 22, 80 a 443 Písemné ověření
Je třeba splnit všechna kritéria.
5

Pokyny k realizaci zkoušky

Autorizovaná osoba informuje, které doklady musí uchazeč předložit, aby zkouška proběhla v souladu s platnými právními předpisy.

Před zahájením vlastního ověřování musí být uchazeč seznámen s pracovištěm a s požadavky bezpečnosti a ochrany zdraví při práci (BOZP) a požární ochrany (PO), o čemž bude autorizovanou osobou vyhotoven a uchazečem podepsán písemný záznam. Zdravotní způsobilost pro vykonání zkoušky není vyžadována.

 

Praktická část zkoušky probíhá na uchazečem zvolené platformě. Autorizovaná osoba je povinna zveřejnit nejpozději 3 týdny před zahájením zkoušky informace o dostupných technologiích (minimálně dvě), na kterých bude zkouška probíhat. Autorizovaná osoba nabízí zkoušku na platformách Windows, Linux a MacOS (všechna s grafickým uživatelským rozhraním). Uchazeč má právo si platformu vybrat.

 

Zkouška se skládá ze dvou částí: písemného ověření a praktického předvedení s ústním ověřením.

 

Písemné ověření

Písemné ověření má dvě části.

Uchazeč v první části prokáže znalosti písemným testem (rozsah zhruba 20 minut – 16 otázek).

 

Pravidla pro aplikaci testů jako způsobu ověřování profesní kvalifikace

Soubor otázek pro testy stanovuje autorizovaná osoba podle požadavků hodnoticího standardu.

Musí přitom splňovat následující pravidla:

Testy pro jednotlivé uchazeče musí být vygenerovány z dostatečně velkého souboru otázek (počet otázek z jednotlivých kompetencí upřesněn níže), aby bylo možné vytvářet dostatečné počty různě sestavených testů

Při každé zkoušce musí být ověřeny všechny kompetence

Pro každé kritérium existuje několik otázek

Každý uchazeč má ve svém testu pro každé kritérium alespoň jednu otázku

Za úspěšné splnění testu se považuje 75 % správně zodpovězených otázek s tím, že pro každé kritérium musí být správně zodpovězeno alespoň 50 % otázek.

Autorizovaná osoba vypracuje soubor 40 testových úloh, zaměřených na ověření znalostní složky vybraných kompetencí:

Základy testování softwaru

kritéria a), b)

Testovánív životním cyklu softwaru

kritéria c), l)

Techniky pro návrh testů

kritérium e)

Řízení kvality softwaru

kritéria c)

Nástroje pro testování

kritéria d), g)

Pro každé z uvedených kritérií hodnocení vypracuje autorizovaná osoba 5 otázek.

Autorizovaná osoba zajistí vygenerování náhodného testu pro každého uchazeče, sestaveného z 16 otázek, po dvou otázkách pro každé z výše uvedených kritérií hodnocení.

Testové otázky budou uzavřené, sestavené ze tří odpovědí, z nichž pouze jedna je správná. Všechny otázky jsou bodově rovnocenné.

 

V druhé časti písemného ověření se uchazeč vyjadřuje volnou písemnou formou (rozsah 190 minut). Jedná se o následující kritéria v rámci uvedených kompetencí:

Základy testování softwaru

kritéria d) až g), j) až l)

Testovánív životním cyklu softwaru

kritéria a), b), d), e), g), j), m), n), o)

Techniky pro návrh testů

kritéria a) až d), h)

Řízení kvality softwaru

kritéria a), b), d), g) až i)

Nástroje pro testování

kritéria a) ,e), f)

Testování softwarových aplikací

kritéria e), f)

Pro tuto část zkoušky vypracuje autorizovaná osoba soubor 5 zadání pro každé z následujících kritérií v rámci uvedených kompetencí:

Testování v životním cyklu softwaru - kritérium e)

Techniky pro návrh testů - kritérium d)

Testování softwarových aplikací - kritéria e), f).

Pro zkoušku autorizovaná osoba zajistí náhodné vygenerování jednoho zadání pro každé z uvedených kriterií.

 

Praktické předvedení s ústním ověřením

Uchazeč si může v rámci praktické části zkoušky zvolit jedno ze dvou nabízených technických vybavení - s platformou Windows, Linux nebo MacOS.

Pro tuto část zkoušky vypracuje autorizovaná osoba soubor 5 zadání pro každé z následujících kritérií v rámci uvedených kompetencí:

Základy testování softwaru

kritéria c), h)

Testovánív životním cyklu softwaru

kritéria f), h), i), k)

Techniky pro návrh testů

kritéria f), g)

Řízení kvality softwaru

kritéria e), f), j), k)

Nástroje pro testování

kritéria b), c)

Testování softwarových aplikací

kritéria a) až d)

Pro zkoušku autorizovaná osoba zajistí náhodné vygenerování jednoho zadání pro každé z uvedených kriterií.

 

Výsledné hodnocení

Zkoušející hodnotí uchazeče zvlášť pro každou kompetenci a výsledek zapisuje do záznamu o průběhu a výsledku zkoušky. Výsledné hodnocení pro danou kompetenci musí znít „splnil“ nebo „nesplnil“ v závislosti na stanovení závaznosti, resp. nezávaznosti jednotlivých kritérií u každé kompetence. Výsledné hodnocení zkoušky zní buď „vyhověl“, pokud uchazeč splnil všechny kompetence, nebo „nevyhověl“, pokud uchazeč některou kompetenci nesplnil. Při hodnocení „nevyhověl“ uvádí zkoušející vždy zdůvodnění, které uchazeč svým podpisem bere na vědomí.

Počet zkoušejících

Zkouška probíhá před jednou autorizovanou osobou; zkoušejícím je jedna autorizovaná fyzická osoba s autorizací pro příslušnou profesní kvalifikaci anebo jeden autorizovaný zástupce autorizované podnikající fyzické nebo právnické osoby s autorizací pro příslušnou profesní kvalifikaci.

Požadavky na odbornou způsobilost autorizované osoby, resp. autorizovaného zástupce autorizované osoby

Autorizovaná osoba, resp. autorizovaný zástupce autorizované osoby musí splňovat tento požadavek:

 

Vysokoškolské vzdělání technického směru a alespoň 5 let prokázané odborné praxe v oblasti testování softwaru nebo prokazatelnou praxi učitele odborných předmětů na SŠ či VOŠ v oblasti testovaní softwaru.

 

Další požadavky:

Autorizovaná osoba, resp. autorizovaný zástupce autorizované osoby, která nemá odbornou kvalifikaci pedagogického pracovníka podle zákona č. 563/2004 Sb., o pedagogických pracovnících a o změně některých zákonů, ve znění pozdějších předpisů, nebo nemá odbornou kvalifikaci podle zákona č. 111/1998 Sb., o vysokých školách a o změně a doplnění dalších zákonů (zákon o vysokých školách), ve znění pozdějších předpisů, nebo praxi v oblasti vzdělávání dospělých (včetně praxe z oblasti zkoušení), nebo nemá osvědčení o profesní kvalifikaci 75-001-T Lektor dalšího vzdělávání, může být absolventem přípravy zaměřené zejména na praktickou aplikaci části první, hlavy III a IV zákona č. 179/2006 Sb., o ověřování a uznávání výsledků dalšího vzdělávání a o změně některých zákonů (zákon o uznávání výsledků dalšího vzdělávání) ve znění pozdějších předpisů, a přípravy zaměřené na vzdělávání a hodnocení dospělých s důrazem na psychologické aspekty zkoušení dospělých v rozsahu minimálně 12 hodin.

Autorizovaná osoba musí být schopna organizačně zajistit zkušební proces včetně vyhodnocení na PC a vydání jednotného osvědčení (stačí doložit čestným prohlášením).

 

Žadatel o udělení autorizace prokazuje splnění požadavků na odbornou způsobilost autorizujícímu orgánu, a to předložením dokladu nebo dokladů o získání odborné způsobilosti v souladu s hodnoticím standardem této profesní kvalifikace, nebo takovým postupem, který je v souladu s požadavky uvedenými v hodnoticím standardu této profesní kvalifikace autorizujícím orgánem stanoven.

 

Žádost o udělení autorizace naleznete na stránkách autorizujícího orgánu: Ministerstvo vnitra ČR, www.mvcr.cz.

Nezbytné materiální a technické předpoklady pro provedení zkoušky

Adekvátně vybavená místnost pro písemnou a praktickou část zkoušky

Vybavení potřebným hardware a software – tři notebooky nebo pracovní stanice s operačními systémy Windows, Linux a MacOS.

Psací potřeby, papír

Flipchart nebo white board

Záznamové archy pro sledování a hodnocení postupu plnění úkolu

Zpracováná zadání písemných a praktických úkolů

Zpracované testové otázky

 

K žádosti o udělení autorizace žadatel přiloží seznam materiálně-technického vybavení dokládající soulad s požadavky uvedenými v hodnoticím standardu pro účely zkoušky. Zajištění vhodných prostor pro provádění zkoušky prokazuje žadatel odpovídajícím dokladem (např. výpis z katastru nemovitostí, nájemní smlouva, dohoda) umožňujícím jejich užívání po dobu platnosti autorizace.

Doba přípravy na zkoušku

Uchazeč má nárok na celkovou dobu přípravy na zkoušku v trvání 120 minut. Do doby přípravy na zkoušku se nezapočítává doba na seznámení uchazeče s pracovištěm a s požadavky BOZP a PO.

Doba pro vykonání zkoušky

Celková doba trvání vlastní zkoušky jednoho uchazeče (bez času na přestávky a na přípravu) je 4 až 5 hodin (hodinou se rozumí 60 minut). Zkouška může být rozložena do více dnů.

 

Doba trvání písemného testu jednoho uchazeče je 20 minut, druhá čast písemného ověření, zadání vypracované volnou písemnou formou, trvá 190 minut.

Na tvorbě standardu se podíleli

Hodnoticí standard profesní kvalifikace připravila SR pro informační technologie a elektronické komunikace, ustavená a licencovaná pro tuto činnost HK ČR a SP ČR.

 

Na tvorbě se dále podílely subjekty zastoupené v pracovní skupině:

Fakulta informačních technologií ČVUT

AVAST Software, s. r. o.

Tesena, s. r. o.

IBM ČR