Negativní testování v testování softwaru je technika, která ověřuje, jak aplikace reaguje na neočekávané chování nebo neplatná data. Tento typ testování může týmům zajišťujícím kvalitu pomoci zlepšit robustnost a stabilitu softwaru tím, že odhalí výjimky, které způsobují zamrznutí, pády nebo jiné nežádoucí výsledky.
V tomto článku se seznámíme s tím, co je to negativní testování softwaru, proč je důležité a jaké různé přístupy, techniky a nástroje lze pro tuto techniku použít.
Co je negativní testování softwaru?
Negativní testování je technika testování softwaru, při které se do systému záměrně vkládají neplatné vstupy nebo neočekávaná data, aby se zjistilo, jak si s těmito scénáři poradí. Tento přístup, známý také jako testování selhání nebo testování chybových cest, simuluje různorodé scénáře, se kterými se vaše aplikace setká v reálném světě, jako je zadávání neplatných dat nebo znaků uživateli nebo používání určitých funkcí způsobem, který jste nikdy nezamýšleli.
Většina typů testování používá k testování aplikace platná data. Negativní testování však využívá odlišný přístup, kdy se testuje na okrajích a mimo typické vstupy a zjišťuje se, jak aplikace zpracovává výjimky.
Je důležité otestovat, zda aplikace funguje tak, jak má. Na druhou stranu je však také důležité pochopit, co se stane, když uživatelé překročí meze, zejména pokud tato nezamýšlená použití způsobí pády, zamrznutí nebo jiné závady.
Rozdíl mezi pozitivním a negativním testováním
testování při testování softwaru
Jak jsme uvedli výše, negativní testování využívá neočekávaná nebo neplatná data k ověření chování systému. Naproti tomu pozitivní testování využívá očekávaná nebo platná data k ověření, že systém funguje podle očekávání.
Jinými slovy:
- Pozitivní testování vám pomůže zjistit, zda vaše aplikace funguje podle plánu.
- Negativní testování zjišťuje, zda aplikace zvládne neočekávané události.
Pokud chcete aplikaci důkladně otestovat, je při testování softwaru nutné jak pozitivní, tak negativní testování.
Proč je negativní testování softwaru nezbytné?
Když vývojáři vytvářejí software, mají jasnou představu o tom, jak očekávají, že uživatel bude software používat. Uživatelé však ne vždy dodržují pravidla. Často se pokoušejí kliknout na neexistující tlačítka, zadávat písmena do číselných polí nebo se pokoušejí o vstupy, které prostě neočekáváte.
Cílem negativního testování je zohlednit tyto okrajové případy, které nelze odhalit pomocí pozitivních testovacích technik, jako jsou např.
unit
,
systému
nebo
integrační testování
. Vymýšlení “oříšků”, které by se daly systému předhodit, vyžaduje netradiční myšlení. Výsledkem je však stabilnější a robustnější aplikace.
Jaký je účel negativního testování
v testování softwaru?
Negativní testování má podobné cíle jako jiné typy testování softwaru. Konkrétně jde o odhalení chyb, nedostatků a zranitelností v aplikaci. Zvláštní roli však hraje při hledání závad, které nelze odhalit pomocí platných dat. Zde jsou některé z důvodů, proč zvolit negativní testování.
1. Odhalování závad
Hlavním účelem negativního testování při testování softwaru je odhalit chyby, které jsou důsledkem neplatných dat nebo neočekávaných vstupů. Umožňuje testerům zaujmout aktivnější přístup k odhalování chyb a zajistit, aby software splňoval očekávání.
2. Zabezpečení
Neočekávané vstupy nebo neplatná data mohou odhalit zranitelnosti zabezpečení. Testování a řešení těchto okrajových případů vede k bezpečnější a robustnější aplikaci, protože snižuje možnost škodlivých útoků, chyb v injektáži nebo pokusů o neoprávněný přístup.
3. Zpracování chyb
Negativní testování je užitečné pro ověření zpracování chyb. Nejde jen o to, aby systém zůstal stabilní po setkání s neočekávanými vstupy nebo daty, ale také o to, jak na tyto události reaguje, například vytvářením chybových hlášení, aby koncový uživatel věděl, že data jsou neplatná.
4. Zlepšení pokrytí testů
Pozitivní a negativní testování se při testování softwaru velmi dobře doplňují. Obě zahrnují různé prvky zadávání dat, což znamená, že vaše testování je komplexnější.
5. Lepší uživatelská zkušenost
Negativní testování pomáhá odhalit zdroj chybových hlášení, pádů a dalšího neočekávaného chování, které může mít negativní dopad na uživatelskou zkušenost.
Rozdíl mezi pozitivním a negativním
testování v softwarovém inženýrství
Jak jsme se zmínili výše, negativní testování odesílá neočekávaná nebo neplatná data, aby ověřilo chování systému. Pozitivní testování naopak odesílá očekávaná nebo platná data, aby se ověřilo, že systém funguje podle očekávání.
Rozdíl mezi pozitivním a negativním testováním je následující:
1. Cíle:
Pozitivní testování ověřuje, zda software funguje tak, jak bylo zamýšleno; negativní testování se snaží zjistit, co se stane v nezamýšlených scénářích.
2. Údaje:
Pozitivní testování používá platná data a negativní testování používá neplatné vstupy, extrémní hodnoty a neočekávané formáty.
3. Zaměření:
Pozitivní testování se zaměřuje na úspěšné scénáře, zatímco negativní testování se zabývá spíše neúspěšnými scénáři.
Různé typy negativních testů
Negativní testování je pojem, který zahrnuje několik různých přístupů k ověřování kvality a integrity aplikace. Zde je sedm typů negativních testů, které byste měli znát.
#1. Testování hraničních hodnot
Cílem testování hraničních hodnot je otestovat software pomocí vstupů, které se nacházejí na hranicích nebo okrajích vstupního rozsahu. Testuje jak maximální, tak minimální očekávané hodnoty, ale testuje i hodnoty těsně za těmito vstupy.
Příklad: Vstupní pole umožňuje zadávat čísla od 1 do 9. Test hraničních hodnot zadá hodnoty 1 a 9, ale také testuje hodnoty 0 a 10.
#2. Testování vstupních hodnot
Testování vstupních hodnot určuje, jak bude systém reagovat na neočekávané nebo neplatné vstupy. Mezi vstupy, které testuje, patří:
- Nesprávné datové typy
- Hodnoty mimo rozsah
- Speciální znaky
- Prázdná pole.
Příklad: Příklad: Vstupní pole vyžaduje pouze číslo, proto se v testu zadá písmeno a zjistí se, jak systém zareaguje.
#3. Testování zátěže
Testování zátěže
pomáhá testerům vyhodnotit, jak bude systém reagovat při velkém zatížení nebo zátěži, jako jsou velké datové soubory nebo velký objem provozu.
Nástroje pro automatizaci testování
mohou tyto extrémní podmínky simulovat, aby pochopily, jak systém reaguje pod tlakem.
Příklad: Příklad: Tester bude simulovat tisíce uživatelů, kteří současně přistupují k webové stránce.
#4. Testování výjimek
Tento typ testování zkoumá, jak bude systém reagovat na výjimečné události nebo chyby. Některé z těchto testů zahrnují
- Simulace selhání systému
- Selhání sítě
- Chyby databáze
- Problémy s místem na disku
- Chybějící soubory.
Příklad: Příklad: Test může zkoumat, co se stane, když uživatel stahuje soubor z aplikace a internet je přerušen.
#5. Testování zabezpečení
Bezpečnostní testování využívá přístup negativního testování k odhalení a pochopení zranitelností softwaru, které mohou být odhaleny neplatnými nebo neočekávanými vstupy. Tento přístup testuje běžné útoky, jako jsou:
- Injekce SQL
- Cross-site scripting (XSS)
- Přetečení vyrovnávací paměti.
Příklad: Příklad: Bezpečnostní test se může pokusit vložit škodlivý kód do vstupního pole uživatele.
#6. Testování uživatelského rozhraní
Tento druh testování se zaměřuje na chyby, které se objevují při interakci uživatele se softwarem. Některé z nich se pokusí zjistit:
- Neočekávané reakce na interakce uživatele
- Nesprávné chybové zprávy
- Problémy s navigací
Příklad: Test bude zkoumat, co se stane, když se určité akce provedou mimo pořadí.
#7. Testování integrity dat
Testování integrity dat zajišťuje, že data zůstávají přesná a konzistentní při různých operacích v rámci aplikace. Některé z testovaných věcí zahrnují:
- Potenciální poškození dat
- Scénáře ztráty dat
- Neúmyslné úpravy dat
Příklad: Test ověří, zda data zůstanou po přenosu stejná.
Jak vidíte, existuje mnoho různých přístupů k negativnímu testování. Všem je společné použití neočekávaných vstupů nebo neplatných dat, aby se zjistilo, jak aplikace funguje za netypických podmínek.
Výhody negativního testování
Negativní testování spočívá v pochopení toho, jak aplikace funguje v neočekávaných situacích. Zde jsou některé z hlavních výhod tohoto přístupu.
- Pomůže vám pochopit, jaký dopad budou mít neočekávané vstupy nebo neplatná data na vaši aplikaci. Dojde k havárii? Vyplivne nepřesnou chybovou zprávu?
- Negativní testování je součástí odpovědného přístupu k zajištění kvality, protože se snaží odhalit slabá místa v systému.
- Negativní testování prověřuje software tím, že testuje jeho reakce na nepředvídané nebo neočekávané scénáře, se kterými se setká v praxi.
- Negativní testování je opět nezbytnou součástí důkladného přístupu k zabezpečení, protože upozorňuje na potenciální vektory útoku, které by mohli kybernetičtí útočníci využít.
Nevýhody negativního testování
Negativní testování přináší řadu výhod, ale má i některé nevýhody, které je třeba překonat.
- Důkladné negativní testování může vyžadovat další hardware a software, což může zvýšit náklady na testování. Pro týmy s omezeným rozpočtem to může být nevýhodné.
- Negativní testování může být poměrně časově náročné, protože vyžaduje vytvoření mnoha testovacích případů, které pokryjí různé permutace vstupů, s nimiž se software setká ve výrobě.
- Množství nepředvídatelných situací, které můžete pokrýt negativním testováním, je omezené. Některé situace mohou být skutečně tak neočekávané, že je testeři nemohou vzít v úvahu.
- Automatizace negativních testovacích případů je náročná. Se správným softwarem, jako je ZAPTEST, je však tento proces mnohem lépe zvládnutelný.
Výzvy negativního testování
Pokud chcete vytvořit robustní a spolehlivý software, který bude schopen odolat zátěži a napětí při interakci s uživateli, je negativní testování klíčové. Zavedení tohoto přístupu však naráží na určité problémy, kterých je třeba si být vědom.
Pojďme si rozebrat některé z nejtrvalejších problémů.
1. Identifikace negativních scénářů při testování softwaru
Dostatečné pokrytí:
Jednou z největších výzev při negativním testování je zajistit, abyste pokryli dostatečný počet neočekávaných scénářů. Existuje mnoho negativních scénářů a permutací, takže jejich zvážení vyžaduje kreativní přístup k představě, jak budou uživatelé se softwarem pracovat.
Stanovení priorit:
S tolika potenciálními negativními scénáři, které je třeba podrobit zkoumání, si testeři nejsou vždy jisti, kde by měli začít. Mezi pevná kritéria pro vyhodnocení toho, co je třeba upřednostnit, patří předpovědi:
- Situace s vysokou pravděpodobností výskytu závad
- Závažnost výsledku závad.
2. Navrhování vhodných negativních testovacích případů
Ověřování vstupů:
Návrh spolehlivých negativních testů vyžaduje poměrně komplexní znalost chování, architektury a omezení systému. Testování softwaru vyžaduje použití pečlivě zvážených vstupů a dat. Náhodný přístup vám sice může pomoci odhalit některé chyby, ale ve srovnání s přesnějším a systematičtějším přístupem k negativnímu testování je to bledší.
Rozmanitost dat:
V závislosti na zvláštnostech vašeho systému může být nutné testovat na poměrně rozmanitém souboru dat. Existuje totiž mnoho různých datových formátů, jako jsou čísla, text, data atd., z nichž každý může vaše aplikace akceptovat. Úkolem je navrhnout takové testovací případy, které by zohledňovaly každý formát a zejména každou variantu neplatných dat. Tato situace může být pro testovací týmy poměrně časově náročná.
3. Efektivita a automatizace testování
Časová náročnost:
Cílem pozitivního testování je ověřit software na základě očekávaných výsledků. Negativní testování se naopak musí zabývat neočekávanými situacemi a zkoumat možné scénáře. Překonávání neprobádaného území vyžaduje více času. Pokud tedy chcete získat komplexní výsledky, které přináší negativní testování, musíte být připraveni investovat několik hodin navíc.
Složitost automatizace:
Negativní testování může být náročné na čas a zdroje. Proto je to ideální práce pro automatizaci testování softwaru. Je však třeba překonat některé složitosti. Například návrh testovacích případů, které definují očekávané výsledky pro neočekávané vstupy, vyžaduje určité zkušenosti a know-how. Navíc váš stávající rámec pro automatizační testy nemusí podporovat neplatná data, která chcete do aplikace odeslat, což přidává další vrstvu složitosti.
4. Vyhodnocení výsledků
Falešně pozitivní výsledky:
Kalibrace testování, která zajistí uspokojivou rovnováhu mezi přesností a komplexností, je pro negativní testery známým problémem. V některých situacích příliš citlivé zpracování chyb falešně zaměňuje platné vstupy za negativní vstupy, což vede k plýtvání časem na problémy, které nejsou relevantní.
Nejednoznačné výsledky:
Pokud systém obdrží neplatný vstup, může dojít k pádu, chybě nebo zamrznutí. V mnoha případech se jedná o spolehlivé znamení chyby. V jiných případech se však jedná o důkaz neošetřeného okrajového případu, který vývojáři nezohlednili. Rozlišení těchto jednotlivých situací je důležité, ale zkoumání skutečné příčiny je časově náročné.
Správa dat:
Negativní testování vyžaduje značné množství dat. Tyto informace o testování musí být vytvářeny a udržovány. Ve vývojových scénářích s krátkými časovými lhůtami se jedná o práci navíc, kterou je třeba zvážit.
5. Organizační otázky
Nedostatek odborných znalostí v oblasti negativního testování:
Negativní testování je sice oblíbené, ale mnoho testerů nemá dostatečné dovednosti a odborné znalosti, aby mohli tento druh testování provádět komplexně. Navrhování určitých negativních testovacích případů je méně intuitivní než jejich pozitivní ekvivalent. Navíc implementace automatizace testování může být bez správných odborných znalostí náročná.
Obchodní tlak:
Zúčastněné strany, testeři a management musí pochopit, jak zásadní roli hraje negativní testování při vývoji robustních aplikací. Nedocenění jeho významu může vést k tlaku zaměřit se na pozitivní testování na úkor negativního testování.
Je zřejmé, že týmy, které chtějí využít výhod negativního testování, čelí několika výzvám. Se správným přístupem a správnými nástroji pro testování softwaru však můžete tyto problémy překonat a vytvořit software, který překoná očekávání uživatelů.
Jak psát negativní testovací případy testování softwaru
Psaní negativních testovacích případů testování softwaru vyžaduje určité zkušenosti a kreativní myšlení. Zde je průvodce krok za krokem, který vám pomůže tyto kritické testovací případy sestavit.
#1. Stanovte si své cíle
Než začnete psát negativní testovací případy pro testování softwaru, musíte si uvědomit, proč chcete negativní testování provádět. Ne pro všechny aplikace je negativní testování přínosné.
Uvědomte si, čeho chcete dosáhnout. Cílem negativního testování je odhalit chyby a pády, které jsou důsledkem neočekávaných scénářů nebo podmínek interakce s uživatelem.
#2. Nastínit možné negativní scénáře
Dále je třeba zohlednit negativní scénáře, které mohou nastat při interakci uživatelů s vaším softwarem. Výzkum v tomto kroku je klíčový. Některé oblasti, které byste měli prozkoumat, jsou:
- Systémové požadavky
- Typické případy použití
- Vlastnosti a funkce aplikace
Prozkoumejte tyto situace a sestavte seznam scénářů, kdy aplikace nemusí fungovat tak, jak jste zamýšleli.
Poté zvažte scénáře ověřování kritických vstupů. Obvykle se jedná o formuláře pro zadávání dat, přihlašovací pole apod.
V neposlední řadě zvažte nespočet netradičních způsobů, jakými mohou uživatelé se softwarem pracovat, a neočekávané události, které mohou mít nepříznivé následky, jako je odpojení od sítě, náhlé vypnutí systému, masivní přenosy dat atd.
Jakmile zdokumentujete co nejvíce scénářů, je čas určit očekávané výsledky těchto neočekávaných scénářů.
#3. Nastínit očekávané výsledky
Každý testovací případ musí mít očekávaný výsledek a negativní testovací případ se od něj neliší. Nejlepším postupem je napsat si každý negativní scénář a určit, jaký by měl být výsledek.
Některé z možných výsledků mohou zahrnovat:
- Přesná a informativní chybová hlášení
- Vhodná přesměrování
- Plynulé zacházení se systémem, například prevence zamrznutí nebo pádu systému.
#4. Výběr vstupů pro testování
Nyní je čas zjistit, které vstupy je třeba otestovat. Tyto vstupy by měly být ty, které s největší pravděpodobností způsobí chybu nebo jiné negativní chování.
Některé vstupy, které je třeba zahrnout, jsou:
- Hodnoty mimo rozsah (záporné hodnoty v poli věku atd.)
- Neplatné údaje (písmena v číselném poli atd.)
- Neočekávané znaky nebo symboly
- Speciální znaky
- Chybějící údaje
#5. Napište své testovací případy
Jakmile shromáždíte všechny scénáře, je čas napsat testovací případy. V případě negativního testování můžete napsat téměř neomezený počet testovacích případů. Při tomto typu testování se přece zjišťuje, co se stane, když lidé používají software způsobem, který jste nezamýšleli. Termíny však vyžadují, abyste seznam potenciálních případů zkrátili na situace, které s největší pravděpodobností způsobí problémy.
Jako vždy pište testovací případy jasným, stručným a objektivním jazykem. Zde není prostor pro dvojznačnost.
Zde je vhodný formát pro negativní testovací případy.
- Použití ID testovacího případu
- Přesně popište, co se testuje
- Všimněte si všech předpokladů pro negativní test
- Nastínit soubor příslušných kroků
- Stanovení jasných a objektivních výsledků
- Zapište si skutečný výsledek testu
#6. Naplánujte test
Nyní je třeba naplánovat testy. Opět je důležité upřednostnit scénáře, které mají nejzávažnější nepříznivé důsledky, například havárie, nebo u kterých je největší pravděpodobnost, že budou odhaleny problémy.
Příklad negativního testovacího případu
Zde je příklad negativního testovacího případu.
ID testovacího případu: TC001
Popis: Ověřte, zda se zobrazí chybová zpráva, pokud uživatel zadá neplatnou e-mailovou adresu.
Předpoklady: Uživatel musí být na přihlašovací stránce aplikace
Kroky: 1. Zadejte neplatnou e-mailovou adresu. 2. Stiskněte tlačítko “Login”.
Očekávaný výsledek: Když uživatel stiskne tlačítko “Přihlásit”, zobrazí se chybové hlášení “zadána nesprávná e-mailová adresa”.
Výsledek: Zaznamenejte, co se stalo, když bylo vybráno “Přihlásit”.
Příklady negativních scénářů při testování softwaru
Zde je několik typických scénářů, které můžete ověřit pomocí metod negativního testování.
1. Typy dat a polí
Pokud jste někdy vyplňovali formulář online, víte, že tato pole jsou nastavena tak, aby přijímala určité typy údajů. Některé z nich jsou pouze číselné, jiné přijímají data, text nebo jiné typy dat.
Negativní testování těchto políček zahrnuje odeslání neplatných údajů, například zadání písmen do číselného pole.
2. Povinná pole
Povinná pole jsou opět běžnou součástí formulářů a aplikací. Jsou praktickým nástrojem, který zajistí, aby byly shromážděny všechny důležité informace, než uživatel přejde do další fáze.
Vhodným testovacím případem pro tyto scénáře je zjištění, co se stane, když tato pole zůstanou prázdná. V ideálním případě by se měla spustit chybová zpráva, která uživatele vyzve k vyplnění požadovaného pole.
3. Vhodný počet znaků
Pokud máte testovanou aplikaci webových stránek, může se stát, že datové pole vyžaduje omezený počet znaků. Může se jednat o uživatelská jména, telefonní čísla, registrační čísla apod.
Pro tato pole můžete vytvořit negativní testovací případy tak, že napíšete testy, které zadají více než maximální povolený počet znaků, a zjistíte, jak aplikace zareaguje.
4. Omezení a limity dat
Některé formuláře mají pole s pevně stanovenými limity. Pokud byste například chtěli, aby někdo něco ohodnotil 100 body, byly by hranice dat 1-100.
Vytvořte negativní testovací případ, ve kterém se pokusíte zadat 0, 101 nebo jiné záporné či kladné hodnoty z 1-100.
Osvědčené postupy pro negativní testování
Pro zajištění kvalitního negativního testování existuje několik osvědčených postupů. Zde je několik tipů, které vám pomohou.
1. Definujte neplatné vstupy:
Projděte si vývojovou dokumentaci, případy použití a uživatelské rozhraní/uživatelské rozhraní, abyste pochopili a identifikovali potenciální neplatné vstupy. Dávejte pozor na neplatné datové typy, extrémní hodnoty, chybějící data, prázdná pole, neočekávané formáty a další.
2. Použijte analýzu okrajových hodnot:
Jak bylo uvedeno výše, načrtněte si hraniční hodnoty, abyste našli okrajové případy, které mohou způsobit neočekávané reakce.
3. Rozdělení zaměstnanců podle ekvivalence:
Podívejte se na své vstupní domény a rozdělte je na ekvivalenční oddíly platných a neplatných hodnot. Tento postup pomáhá snížit počet testovacích případů, které budete muset napsat, protože pokud ekvivalentní část neplatných dat způsobuje problémy u jednoho vstupu, bude pravděpodobně zastoupena v celé třídě.
4. Napodobujte špatné uživatele:
Pozitivní testování ověřuje očekávané chování uživatelů. Negativní testování zkoumá, co se stane, když lidé vaši aplikaci zneužijí. Zamyslete se tedy nad různými scénáři, kdy k tomu může dojít, a zopakujte je ve svých testovacích případech.
5. Nechte se při testování řídit riziky a dopady:
Žádný tester nemá neomezený čas. V určitém okamžiku budete muset učinit obtížná rozhodnutí, protože nemůžete testovat (nebo dokonce znát) všechny neočekávané výsledky. Když se potřebujete rozhodnout, které typy negativních testů provést, upřednostněte oblasti, které přinesou největší riziko nebo negativní dopad na váš produkt.
6. Ověření zpracování chyb:
Zajistěte, aby součástí testování bylo i zpracování chyb, a ověřte, zda jsou chybová hlášení užitečná a přesná.
7. Co nejvíce automatizujte:
Automatizace zvládá rutinní a opakující se úkoly. Negativní testování však stále vyžaduje manuální přístup pro průzkumné testování a vyhledávání okrajových případů.
Nejlepší nástroje pro negativní testování v roce 2024
Negativní testování softwaru je sice běžné v celém odvětví, ale chybí pro něj odlišné nástroje. Velkým důvodem je univerzální povaha negativního testování. Navíc mnoho stejných nástrojů, které se používají pro pozitivní testování, funguje i pro negativní testování, pokud upravíte vstupní data.
ZAPTEST je nejlepším nástrojem pro negativní testování, protože je všestranný a modulární. Snadno se používá a přizpůsobuje a díky možnosti použití napříč platformami a aplikacemi nabízí flexibilitu, kterou lze jen těžko překonat.
Testování založené na datech a
testování mutací
Funkce ZAPTEST jsou ideální pro negativní testování. A co víc, díky RPA můžete simulovat reálné uživatele, opakovaně používat testy a snadno vytvářet zprávy a dokumentaci. Stručně řečeno, schopnost ZAPTESTu provozovat nejmodernější software pro automatizaci softwaru a robotickou automatizaci procesů z něj činí komplexní řešení pro jakoukoli automatizační úlohu, včetně negativního testování.
Závěrečné myšlenky
Negativní testování v rámci testování softwaru pomáhá týmům pochopit, jak si jejich aplikace poradí s neočekávanými vstupy a neplatnými daty. Zatímco pozitivní testování zjišťuje, zda váš software funguje tak, jak má, negativní testování softwaru vám pomůže zjistit, co se stane, když uživatelé zvolí vstupy a data nesprávně. Oba přístupy jsou důležité, pokud chcete mít solidní a robustní aplikaci, která zvládne zátěž a napětí způsobené různorodou interakcí uživatelů.
