Ohjelmistotestaus on uskomattoman monimutkainen ja intensiivinen ala, jolla yritykset ja riippumattomat kehittäjät pyrkivät kaikki parantamaan tuotteitaan erilaisilla testausmenetelmillä.
Yksi yleisimmistä menetelmistä, joita yritykset käyttävät testaamiseen, on mustan laatikon testaus, tekniikka, joka luo etäisyyttä kehittäjien ja testaajien välille tarkkojen tulosten saamiseksi ja ennakkoluulojen poistamiseksi.
Tässä yksityiskohtaisessa oppaassa saat lisätietoja siitä, mitä mustalaatikkotestaus on, miten mustalaatikkotestaus suoritetaan ja mitä etuja mustalaatikkotestauksen käyttöönotosta on ohjelmistosuunnittelussa.
Mitä on mustalaatikkotestaus?
Mustan laatikon testauksella tarkoitetaan prosessia, jossa järjestelmää tai ohjelmistoa testataan ilman, että sen sisäisestä toiminnasta on ennakkotietoa. Tämä ei tarkoita ainoastaan sitä, ettei tiedetä itse lähdekoodista, vaan myös sitä, ettei ole nähty mitään ohjelmistoa ympäröivää suunnitteludokumentaatiota. Testaajat vain antavat syötteen ja saavat tulosteen kuten loppukäyttäjä. Vaikka tämä on yksinkertainen mustan laatikon testauksen määritelmä, se kuvaa yleistä järjestelmää.
Mustan laatikon testauksen tavoitteena on saada käyttäjät toimimaan vuorovaikutuksessa ohjelmiston kanssa tavallista luonnollisemmalla tavalla ilman ennakkoluuloja, jotka johtuvat siitä, että he jo tuntevat ohjelmiston.
Tässä menetelmässä testien suorittamisesta vastaavat henkilöt ovat eri henkilöitä kuin ohjelmiston kehittäjät, jolloin nämä kaksi tiimiä erotetaan toisistaan.
1. Milloin ja miksi mustan laatikon testausta tarvitaan ohjelmistotestauksessa?
Kehityssyklissä on muutamia vaiheita, joissa mustalaatikkotestauksen käyttö on ihanteellista, ja suurin osa mustalaatikkotestauksesta suoritetaan kehityksen lopussa, juuri ennen julkaisua.
Tähän sisältyy esimerkiksi käyttäjien hyväksymistestaus, jossa ohjelmisto testataan ennen julkaisua ohjelmiston kohdeyleisön jäsenille. Tämä tunnetaan yleisemmin nimellä beta-testaus, ja se on ihanteellinen työkalu yritykselle, sillä suurempi altistuminen tarkoittaa, että ihmiset löytävät todennäköisemmin mahdolliset virheet ohjelmistosta.
Mustan laatikon menetelmän käyttäminen kehityssyklin loppupuolella on välttämätöntä, koska tämä on versio, jota käyttäjä todennäköisesti käyttää. Voit käyttää mustan laatikon testausta yksittäisille toiminnoille, mutta se kumoaisi testauksen tarkoituksen.
2. Kun mustan laatikon testausta ei tarvitse tehdä
Mustan laatikon testauksella on hyvin vähän merkitystä kehityksen alkuvaiheessa. Kun yritys rakentaa ohjelmistonsa perustoiminnallisuutta, se käyttää white box -testausta, jotta kehittäjä näkee, missä kohtaa koodia on ongelmia.
Mustan laatikon testausta ei tarvita myöskään silloin, kun ohjelmisto on avointa lähdekoodia tai suhteellisen yksinkertainen verkkotyökalu tai kun se on suunniteltu auttamaan kolmannen osapuolen koodaushankkeita, koska käyttöliittymä on suhteellisen pelkkä ja käyttäjä pääsee joka tapauksessa käsiksi ohjelman lähdekoodiin. Jos oletat käyttäjän pääsevän käsiksi lähdekoodiin, mustan laatikon testaus menettää päätarkoituksensa.
3. Kuka osallistuu mustan laatikon testaukseen?
Mustan laatikon testausprosessiin osallistuu monia rooleja, joista osa riippuu testausta tekevän yrityksen luonteesta.
Mustalaatikkotestausprosessiin osallistuviin merkittäviin tehtäviin kuuluvat:
– Testaaja
Testaajan tehtävänä on suorittaa manuaaliset testitapaukset yrityksessä, kirjoittaa perusteellisia testitapauksia, joissa sovellusta tutkitaan yksityiskohtaisesti ennen niiden suorittamista ja raportoida tuloksista. Tämä rooli on ensisijaisesti manuaalisessa testausprosessissa, ja automatisoidut järjestelmät ottavat roolin silloin, kun testausautomaatio on käytössä.
– QA analyytikko
QA-analyytikko vastaa testitapausten ohjelmoinnista QA-menettelyssä, pääasiassa silloin, kun yritys käyttää QA-testien automatisointiprosessia.
Prosessi sisältää sekä perusteellisten testitapausten suunnittelun, jolla varmistetaan korkea toiminnallisuuden taso, että testitapausten suorittamisen ja tulosten hakemisen, kun ne on saatu valmiiksi.
– Kehittäjä
Henkilö, joka vastaa QA-ryhmän testaamien ohjelmistojen kehittämisestä. Kehittäjä saa palautetta testausryhmältä ja päivittää ohjelmistoa sen mukaisesti. Hän työskentelee osana kehitysryhmää mutta on jatkuvasti yhteydessä testaajiin.
– QA-päällikkö
Laadunvarmistuspäällikkö on laadunvarmistusryhmän johtaja, joka vastaa kaikkien testaajien suorittamien tehtävien hallinnasta.
Tähän kuuluu testausaikataulun järjestäminen, henkilöstön jäsenten tekemien asioiden luettelon laatiminen ja mahdollisten ristiriitojen ratkaiseminen tiimissä. He myös selittävät mustan laatikon testausta uusien työntekijöiden koulutuksessa.
– Projektipäällikkö
Lopullisen projektin laadusta vastaava henkilö, joka valvoo testausprosessia ja kehitystä varmistaen, että asiakas saa ohjelmistopaketin, joka vastaa koko tehtävänkuvaa.
Mustan laatikon testauksen edut
Mustalaatikkotestauksen käyttämisellä kehitystyössäsi on useita merkittäviä etuja. Mitä enemmän olet tietoinen näistä eduista, sitä enemmän voit hyödyntää niitä ja saada tekniikasta mahdollisimman paljon hyötyä.
Laadunvarmistuksessa käytettävän mustan laatikon testauksen tärkeimpiä etuja ovat:
1. Teknistä osaamista ei tarvita
Black box -lähestymistapa tarkoittaa, että sovellusta tutkiessasi et tarvitse teknistä osaamista.
Mustan laatikon testauksen tavoitteena on tutkia, miten sovellus toimii loppukäyttäjälle, eikä tavallisella käyttäjällä ole useimmissa tilanteissa mitään kehittynyttä teknistä tietoa. Tämä voi alentaa testauksen kustannuksia, mikä auttaa organisaatiota löytämään enemmän virheitä pienemmillä kustannuksilla, mikä lisää taloudellista tehokkuutta.
2. Mallintaa käyttäjä tarkasti
Mustan laatikon testausprosessin päämääränä on ymmärtää, mitä ongelmia sovelluksessa on, kun käyttäjä on vuorovaikutuksessa sen kanssa päivittäin.
Jotkin mustan laatikon testaustyypit, joissa keskitytään jäljittelemään käyttäjän käyttäytymistä, mallintavat käyttäjän käyttäytymistä erittäin tarkasti. Tämä pätee erityisesti käyttäjien hyväksymistestaukseen, jossa loppukäyttäjät kokevat tuotteen, eikä käyttäjän käyttäytymistä vain mallinneta tai simuloida vaan se todella toteutetaan.
Tarkka mallintaminen auttaa paljastamaan mahdolliset virheet, jotka vaikuttavat käyttäjän todellisiin työnkulkuihin.
3. Mahdollisuus joukkoistettuun testaukseen
Mustalaatikkotestaus on erittäin helppokäyttöinen testauksen muoto, koska siihen vaaditaan suhteellisen vähän taitoja.
Tämä tarkoittaa sitä, että yritykset voivat palkata testaajia, joilla on vähemmän teknistä osaamista, ja lisäksi ne voivat antaa testauksen joukkorahoituksen innokkaille asiakkaille. Tämä on yhä yleisempää pelialalla, kun yritykset tarjoavat Early Access -julkaisuja, joissa peliä päivitetään ajan mittaan käyttäjien havaitsemien ongelmien ratkaisemiseksi.
Vikojen löytäminen on tässä tapauksessa paljon helpompaa, koska kaikki ominaisuudet saavat paljon enemmän huomiota.
Mustan laatikon testauksen haasteet
Mustan laatikon testauksen hyötyjen lisäksi on muutamia suuria haasteita, jotka sinun on otettava huomioon. Kun olet tietoinen näistä haasteista, voit mukautua niihin ja parantaa testauksen tasoa vähentämällä mustalaatikkotestauksen haitallisia vaikutuksia.
Joitakin näistä haasteista ovat:
1. Vaikea löytää ongelman syitä
Yksi mustan laatikon testauksen suurimmista haitoista on se, että ongelmien syiden löytäminen voi olla vaikeampaa, kun testaajilla ei ole pääsyä lähdekoodiin.
Vaikka he osaavat kuvailla, mikä virhe on ja milloin se ilmenee, heillä ei ole mitään tietoa siitä, mikä lähdekoodin osa aiheuttaa ongelman tai miksi.
Testaajat voivat hieman lieventää tätä tilannetta tekemällä perusteellisia muistiinpanoja, ja kehittäjän yksityiskohtaiset virheilmoitukset tarjoavat myös lisätietoa tulevia päivityksiä varten.
2. Automaatio on hankalampaa
Koska pyrit aktiivisesti jäljittelemään tapaa, jolla käyttäjä toimii vuorovaikutuksessa ohjelmistopaketin kanssa, mustan laatikon testausprosessin automatisointi voi olla erittäin vaikeaa.
Ensimmäinen syy tähän on se, että testaajalla ei ole pääsyä lähdekoodiin, mikä vaikeuttaa tarkan testitapauksen koodaamista. Tämä yhdistyy siihen, että testaus on suunniteltu jäljittelemään ihmisen käyttäytymistä mahdollisimman pitkälle, ja automaatio on suunniteltu toimimaan robottimaisesti.
Voit tasapainottaa tätä ongelmaa automatisoimalla vähäpätöisempiä tehtäviä ja yhdistämällä automatisointia ja manuaalisia testejä mahdollisuuksien mukaan.
3. Suuren mittakaavan testauksen vaikeudet
Edellä mainitut ongelmat automaation kanssa merkitsevät sitä, että testaaminen suuremmissa mittakaavoissa on monimutkaisempaa. Laajamittainen testaus tarjoaa yrityksille paljon enemmän tietoa ohjelmistosta, ja se tarkoittaa, että virheet on helpompi löytää ja toistaa.
Manuaalisen testauksen ensisijaisuusvaatimus tarkoittaa, että testauksen järjestäminen suuremmissa mittakaavoissa voi olla vaikeampaa. Jotkin yritykset pyrkivät vastaamaan tähän käyttämällä ”avointa beta-järjestelmää”, jossa kaikki tuotteesta kiinnostuneet voivat auttaa julkaisua edeltävässä testauksessa ja tukea yritystä antamalla vapaaehtoisesti palautetta varhaisista versioista.
Mustan laatikon testien ominaispiirteet
Mustan laatikon testeissä on muutamia tärkeitä ominaisuuksia, jotka erottavat testauksen muista ohjelmiston laadunvarmistuksen muodoista.
Näihin ominaisuuksiin kuuluvat:
1. Ei aiempaa sisäistä tietämystä
Mustan laatikon testit eivät edellytä ohjelmiston sisäistä tuntemusta. Tämä voi olla vaikeaa joissakin tapauksissa, koska testaajilla on jonkinlainen käsitys testaamansa ohjelmiston osa-alueista ja joistakin ominaisuuksista, joita he etsivät, mutta tämä määritellään laajasti siten, että testaajilla ei ole mahdollisuutta nähdä minkäänlaista sisäistä dokumentaatiota.
Yksinkertaisesti sanottuna, jos tiedot ovat loppukäyttäjän nähtävillä sovelluskaupassa tai verkkosivuston lataussivulla, testaaja voi nähdä ne.
2. Erotetaan testaajat ja kehittäjät toisistaan
Testaus- ja kehitysvaiheet suoritetaan eri henkilöiden toimesta mustan laatikon testaustilanteessa. Tämä ero johtuu siitä, että testaajilla ei ole riittävästi tietoa, kun taas kehittäjillä on tietoa lähdekoodista, koska he ovat olleet vastuussa sen kehittämisestä.
Yritykset lähestyvät tätä muutamalla eri tavalla omasta tilanteestaan riippuen: jotkut käyttävät testauksen suorittamiseen ulkopuolista organisaatiota, ja suuremmilla yrityksillä on testaajille omistettuja osastoja, jotka suorittavat tämän työn.
3. Myöhäisvaiheen testaus
Tämä viittaa siihen kehitysvaiheeseen, jossa testaus tapahtuu. Mustan laatikon testit perustuvat olemassa olevan sovelluksen suhteellisen kehittyneeseen versioon, jossa on kattava käyttöliittymä, joka mahdollistaa täydellisen navigoinnin ohjelmiston läpi ja pääsyn jokaisen ominaisuuden etupäähän.
Tämä tarkoittaa sitä, että mustan laatikon testit ovat mahdollisia vasta testausprosessin myöhemmissä vaiheissa, kun kaikki tämä on alun perin kehitetty. Vaikka käyttöliittymää ja hallintalaitteita saatetaan muuttaa ajan myötä, niiden on oltava olemassa jossakin muodossa, jotta mustan laatikon testit voivat käyttää toiminnallisuutta.
Mitä testaamme Black box -testeissä
Mustan laatikon testauksessa tutkitaan ohjelmistopaketin tiettyjä näkökohtia, jolloin joiltakin ohjelmiston osa-alueilta saadaan lisätietoa, joka johtaa päivityksiin, jotka parantavat yleistä laatua.
Ohjelmistopaketin tärkeimpiä osia, joita testaajat tutkivat mustan laatikon testauksessa, ovat muun muassa seuraavat:
1. Toiminnallisuus
Jotkut kehittäjät käyttävät mustan laatikon testausta keinona varmistaa, että ohjelmisto toimii tarkoitetulla tavalla sellaiselle henkilölle, jolla ei ole olemassa olevia tietoja.
Valtaosa ihmisistä, jotka käyttävät mitä tahansa ohjelmistoa kaupallisesti, tekevät sen ymmärtämättä ohjelmiston sisäistä toimintaa, joten testaaminen tämän tiedon avulla tarkoittaa, että tiedät kiertotietä mahdollisiin ongelmiin.
Tämä perusteellinen toiminnallisuustestaus varmistaa, että kaikki kokevat sovelluksen parhaat ominaisuudet sen sijaan, että kohtaavat virheitä, joita ei nähdä, kun käytetään white box -testausta.
2. Käyttöliittymä
Käyttöliittymällä tarkoitetaan kaikkia tapoja, joilla käyttäjä on käytännössä vuorovaikutuksessa sovelluksen kanssa saadakseen sen suorittamaan tiettyjä tehtäviä. Tähän kuuluvat valikot, joiden avulla käyttäjä työskentelee, sovelluksessa olevat erityiset painikkeet ja ohjelmiston brändi.
Kehittäjät käyttävät suurimman osan ajastaan sen varmistamiseen, että itse sovellus toimii odotetulla tavalla, mikä tarkoittaa, että käyttöliittymään kiinnitetään vähemmän huomiota.
Mustalaatikkotestauksessa testaajat tutustuvat vain ohjelmiston käyttäjäpääominaisuuksiin, jolloin käyttöliittymään kiinnitetään enemmän huomiota kuin useimmissa muissa testauksen vaiheissa.
3. Suorituskyky
Sen lisäksi, että sovellus toimii normaalisti ja näyttää hyvältä, sen suorituskyky on olennainen tekijä asiakkaiden miellyttämisessä.
Suorituskyky viittaa muutamiin tekijöihin, kuten sovelluksen nopeuteen, kun se reagoi käyttäjän syötteisiin, ja resursseihin, joita se käyttää tietyllä laitteella.
Testausmuotojen, kuten päästä päähän -testauksen, avulla kehittäjät näkevät, kuinka paljon muistia sovellus kuluttaa ja mitkä toiminnot kuormittavat laitteita eniten, ja voivat ohjata sovelluksen myöhempien versioiden tehokkuuteen ja suorituskykyyn liittyviä päivityksiä.
Selvitän hieman sekaannusta:
Musta laatikko vs. valkoinen laatikko vs. harmaa laatikko -testaus
Mustalaatikkotestaus on käsite, joka kuulostaa samankaltaiselta kuin harmaalaatikko- ja valkolaatikkotestaus, mutta ideat ovat pohjimmiltaan hyvin erilaisia. Niiden sekoittaminen voi aiheuttaa vakavia kommunikaatio-ongelmia kehitysprosessissa ja aiheuttaa päivitysprosessin hidastumisen ja tehottomuuden.
Lue lisää selvittääksesi erilaisten ”laatikkotestaustyyppien” ympärillä vallitsevaa sekaannusta, miten ne eroavat toisistaan ja milloin kutakin käytetään.
1. Mitä on White Box -testaus?
White box -testaus tunnetaan joskus myös nimellä ”glass box -testaus”, ja sillä tarkoitetaan testausprosessia, jossa testaajalla on täydellinen pääsy kaikkiin ohjelmiston taustalla oleviin tietoihin. Tämä sisältää pääsyn lähdekoodiin ja suunnitteluasiakirjoihin sekä paketin asiakaskohtaiseen ohjeistukseen.
Jos esimerkiksi testaaja työskentelee kehitysprosessin varhaisimmissa vaiheissa tutkiessaan yksittäistä toimintoa, mahdollisuus nähdä kyseisen toiminnon lähdekoodi tarkoittaa, että hän voi löytää ongelman syyn välittömästi.
Yksi parhaista ajankohdista valkoisen laatikon testauksen käyttämiseen on ensisijaisesti sisäiset tehtävät. Tämä viittaa sovelluksen toiminnallisen puolen varhaiseen kehitykseen, jossa nopeat korjaukset ovat ihanteellisia, sillä koodin hämärtämisestä ei ole mitään hyötyä, kun et simuloi käyttäjäkokemusta. Valkoisen koodin testausta käytetään myös avoimen lähdekoodin järjestelmissä, koska lähdekoodi on tällöin kaikkien käyttäjien saatavilla.
Mitä eroja on valkoisen laatikon ja mustan laatikon testauksen välillä?
Tärkein toiminnallinen ero mustalaatikkotestauksen ja valkolaatikkotestauksen välillä on se, kuinka paljon testaaja pääsee käsiksi ohjelmistoon, mutta tällä on paljon merkittävämpiä vaikutuksia testauksen osa-alueisiin, kuten ajoitukseen.
Mustan laatikon testausta käytetään johdonmukaisemmin prosessin myöhemmässä vaiheessa, kun tuote lähestyy lanseerausta, ja perustason kehitysvaiheissa hyödynnetään valkoisen laatikon testauksen avoimuutta ja reagointikykyä. Kun tarkastellaan mustan laatikon testiä ja valkoisen laatikon testiä, nämä kaksi eroavat toisistaan myös tarvittavan asiantuntemuksen tason suhteen, sillä valkoisen laatikon testaus vaatii koodaus- ja kehitysosaamista ollakseen tehokkaampaa.
2. Mitä on harmaalaatikkotestaus?
Harmaalaatikkotestaus on testauksen muoto, jossa käyttäjällä on jonkin verran ymmärrystä koodista, mutta hänellä ei ole täydellistä pääsyä siihen. Tämä edellyttää, että käyttäjällä on käytettävissään testattavan toiminnon lähdekoodi tai että hänellä on pääsy joihinkin suunnitteludokumentteihin, jotta hän ymmärtää, mikä on ohjelmistopaketin yleinen tarkoitus.
Jos testaaja esimerkiksi tutkii vain yhtä ohjelmistopaketin toiminnoista, hänelle saatetaan antaa pääsy kyseisen sovelluksen osan lähdekoodiin.
Yritykset käyttävät ensisijaisesti harmaan laatikon testausta tutkiessaan, miten sovellus on integroitu kolmannen osapuolen työkaluun. Heillä voi olla pääsy lähdekoodiin vain yhdessä prosessin osassa, mikä rajoittaa heidän mahdollisuuksiaan suorittaa perusteellinen white box -testaus. Sen sijaan he näkevät kolmannen osapuolen integraation tulot ja lähdöt sekä integraatiosta vastaavan lähdekoodin.
Testaajat arvioivat tämän avulla, johtuuko jokin ongelma ohjelmistosta, kolmannen osapuolen sovelluksesta tai näiden kahden välisestä integraatiosta.
Mitä eroja on mustan laatikon ja harmaan laatikon testauksen välillä?
Tärkein ero mustan laatikon ja harmaan laatikon testauksen välillä on jälleen tiedonsaannin taso, ja testattavan ohjelmiston tyyppi on yksi tärkeimmistä erottavista tekijöistä testaustyyppien välillä.
Harmaalaatikkotestauksessa käytetään yleensä kolmannen osapuolen työkaluja, kuten pilvipohjaista tietovarastointia tai ulkoisia käsittelytyökaluja, kun taas mustalaatikkotestaus on yleensä yksi yhtenäinen kokonaisuus. Kolmannet osapuolet eivät häiritse monia mustan laatikon testejä, kun taas integroiduissa sovelluksissa ei ole juuri muuta vaihtoehtoa kuin työskennellä harmaan laatikon testausmenetelmän mukaisesti.
3. Johtopäätökset: Black Box vs. White Box vs. Grey Box -testaaminen.
Loppujen lopuksi mustan, harmaan ja valkoisen laatikon testauksen välillä on perustavanlaatuisia eroja, jotka kaikki perustuvat siihen, esitetäänkö testaustiimille kulissien takana olevaa tietoa.
Mustalaatikko- ja valkolaatikkotestaus ovat tämän spektrin ääripäitä, ja harmaalaatikkotestaus kattaa kaiken mahdollisen, paitsi kolmannen osapuolen lähdekoodin näkemisen, ja sen, että vain tietyn toiminnon takana oleva koodi on nähtävissä.
Kaikilla näillä testausmenetelmillä on kuitenkin oma roolinsa ohjelmistotestauksessa, joten niiden oppimiseen ja tehokkaaseen toteuttamiseen on käytettävä aikaa ja huomiota.
Black Box -testien tyypit
Mustan laatikon testauksessa on kolme päätyyppiä, jotka kattavat kaiken testauksen, jonka yritys suorittaa mustan laatikon menetelmän avulla. Nämä ovat:
1. Toiminnallinen testaus
Toiminnallinen testaus kattaa kaiken sen, miten sovellus toimii mekaanisesti. Tämä tarkoittaa sen varmistamista, että se käsittelee tietoja oikealla tavalla, sallii käyttäjien kirjautua sisään oikeilla tunnuksilla ja käsittelee tiedot ja syötteet odotetulla tavalla.
Toiminnallisuuden testaaminen on yksi prosessin tärkeimmistä osa-alueista, ja se kattaa sekä sovelluksen paikallisen toiminnallisuuden että tavan, jolla se on vuorovaikutuksessa ulkoisten työkalujen ja ohjelmien, kuten pilvipalveluiden tai Single Sign On -työkalujen, kanssa.
2. Ei-toiminnallinen testaus
Ei-toiminnallisella testauksella tarkoitetaan testausta, jossa tutkitaan mitä tahansa ohjelmiston osa-aluetta, joka ei liity nimenomaisesti sovelluksen toiminnallisuuteen. Tällöin selvitetään, onko sovellus käyttökelpoinen ja helppotajuinen käyttäjille, yhteensopiva useiden eri laitteiden ja käyttöjärjestelmien kanssa ja miten se toimii huomattavan kuormituksen alaisena (vaikka tämä voi jossain vaiheessa siirtyä toiminnalliseen testaukseen).
Tämä tapahtuu pääasiassa kehitysprosessin loppupuolella, kun koko sovellus on käännetty.
3. Regressiotestaus
Päivityksen jälkeen testaajat käyvät sovelluksen läpi varmistaakseen, että se on suorittanut aiotun toiminnon ja että siinä ei ole tahattomia sivuvaikutuksia, jotka aiheuttavat sovelluksen taantumisen.
Tätä kutsutaan regressiotestaukseksi, ja se on olennainen osa sen varmistamista, että sovellus on valmis markkinoille.
Regressiotestausta käytetään jokaisen päivityksen jälkeen, jotta voidaan varmistaa, että sovelluksen toiminnalliset ja muut kuin toiminnalliset osat vastaavat aiempaa tasoa.
Mustan laatikon testaustekniikat
Kun käyt läpi mustan laatikon testausprosessin, voit käyttää monenlaisia tekniikoita, joilla voit parantaa työsi tasoa. Laadunvarmistusympäristössä käytettäviä tärkeimpiä mustan laatikon testaustekniikoita ovat muun muassa seuraavat:
1. Pareittainen testaus
Pareittainen testaus on testauksen muoto, jossa keskitytään kokeilemaan kaikkia ohjelmistossa mahdollisia syötettyjen tietojen yhdistelmiä.
Jos esimerkiksi numerot yhdestä kymmeneen ovat kaikki kelvollisia merkintöjä yhdessä sarakkeessa ja kaikki aakkoset toisessa sarakkeessa, pareittainen testaus testaa kaikki mahdolliset yhdistelmät 1A-10Z. Tämä on testauksen muoto, jonka suorittaminen voi viedä käyttäjältä paljon aikaa ja vaivaa, joten se on yksi niistä tekniikoista, jotka ovat avoimimpia mahdolliselle hyperautomaatiolle. Tämä on erittäin perusteellista, ja sillä löydetään kaikki mahdolliset ongelmat tietojen syöttämisessä.
2. Raja-arvoanalyysi
Monet ohjelmistot perustuvat tietojen syöttämiseen, ja tiedoilla on tietyt rajat, joiden puitteissa asiakkaan odotetaan työskentelevän.
Esimerkiksi järjestelmä, joka on suunniteltu laskemaan lukuja 1:stä 100:aan, saattaa joutua vaikeuksiin arvojen 0 tai sitä pienempien tai 100:a suurempien arvojen kanssa.
Raja-arvoanalyysissä testataan näitä rajoja syöttämällä lukuja ohjelmiston testaamille rajoille ja niiden läheisyyteen, jotta voidaan tutkia, onko ohjelmistopaketin odotetun toiminta-alueen reunalla virheitä. Tästä on hyötyä ensisijaisesti laskentaan perustuvissa järjestelmissä, ja se voi auttaa kehittäjiä joko säätämään rajoja tai löytämään ongelmien syyn.
3. Tilasiirtymien testaus
Monet ohjelmat vaihtelevat eri ”tilojen” tai ”moodien” välillä ja edellyttävät siirtymistä prosessin yhdestä vaiheesta toiseen. Näiden siirtymien toimivuus tarkoittaa, että sivusto toimii käyttäjän odotusten mukaisesti eikä yllättäviä viivytyksiä esiinny.
Tilasiirtymätestaus on testauksen muoto, jossa tarkastellaan kaikkia ohjelmiston tilojen välisiä siirtymiä ja varmistetaan, että ne ovat toimivia, ja annetaan varmuus siitä, että käyttäjän kulku ohjelmiston läpi toimii ilman odottamattomia keskeytyksiä.
Mustan laatikon testaus ohjelmistosuunnittelun elinkaaressa
Mustalaatikkotestaus on tieteenala, jota käytetään pääasiassa ohjelmistosuunnittelun elinkaaren loppupuolella. Tämä sisältää kaiken siitä, että testataan, miten käyttäjät ovat vuorovaikutuksessa ohjelmiston kanssa, aina täydelliseen beta-käyttöoikeuteen asti, ja mustan laatikon testaukseen päädytään vasta sitten, kun kaikki toiminnot toimivat odotetulla tavalla.
Se säästää paljon aikaa ja vaivaa verrattuna white box -testaukseen, joka vaatii paljon asiantuntemusta, ja se on parasta toteuttaa silloin, kun et tarvitse kehitystiimiä tekemään välittömiä muutoksia järjestelmän toimintaan.
Manuaaliset vai automatisoidut mustan laatikon testit?
Ohjelmistotestausta on kahta eri muotoa: manuaalinen testaus on perinteinen muoto, jossa käytetään ohjelmistotestaajia prosessin kaikissa vaiheissa. Tämä on jyrkässä ristiriidassa automaattisen testauksen kanssa, jossa käytetään yhä enemmän tekoälyä ja koneoppimista tehtävien suorittamiseen ilman ihmisen puuttumista asiaan.
Lue lisää siitä, mitä manuaalinen ja automatisoitu testaus ovat, mitä haasteita kumpaankin liittyy ja kumpi näistä kahdesta on yritykselle ihanteellinen.
1. Manuaalinen mustan laatikon testaus – hyödyt, haasteet, prosessi
Manuaalisella mustan laatikon testauksella tarkoitetaan prosessia, jossa mustan laatikon testaus suoritetaan itsenäisesti, jolloin henkilökunta suorittaa kaikki tehtävät sen sijaan, että käytettäisiin automaatioalustaa osana yrityksen työkalupakkia.
Manuaalisen testauksen tärkeimpiä etuja ohjelmistokehityksessä ovat se, että testauksen suorittaminen on joustavampaa ja että kehittäjät voivat saada paljon perusteellisempaa palautetta, joka on luonteeltaan laadullista.
Manuaaliseen testausprosessiin liittyy kuitenkin muutamia luonnollisia haasteita. Ensimmäinen näistä on se, että manuaalinen testaus voi viedä paljon aikaa, sillä ihmiset ovat hitaampia suorittamaan tehtävänsä kuin automaattiset ohjelmat.
Toinen on suurempi virheiden mahdollisuus, sillä ihmiset voivat tehdä virheellisiä klikkauksia tai tehdä asioita väärässä järjestyksessä. Tämä voi lopulta johtaa epätarkkuuksiin testaustiedoissa.
Manuaalinen testaus on prosessi, joka alkaa tutustumalla yrityksen odotuksiin sovelluksen suhteen, ennen kuin kirjoitetaan testitapauksia, jotka haastavat tämän tehtävänannon, suoritetaan testitapaukset ja raportoidaan tulokset kehitystiimille.
2. Black box -testausautomaatio – hyödyt, haasteet, prosessi
Automaattisilla testeillä tarkoitetaan testejä, jotka yritys suorittaa ohjelmistopaketille suorittamalla testitapauksia automaattisen järjestelmän avulla. Näissä käytetään kolmannen osapuolen alustoja ohjelmistopaketin automatisoimiseksi, ja kaikki automatisoidut vaiheet noudattavat erikseen valmisteltuja testitapauksia.
Mustan laatikon testausautomaation tärkein etu on sen nopeus, sillä automatisoidut ohjelmat vievät paljon vähemmän aikaa jokaiseen testin suorittamiseen. Näin voitat testauksessa huomattavasti aikaa, jonka voit käyttää sovelluksen kehittämiseen.
Toinen etu on tarkkuus, sillä hyvä automaatiotyökalu suorittaa samat tehtävät aina samassa järjestyksessä.
Haitat voivat silti aiheuttaa ongelmia mustan laatikon testiautomaatiossa, ja yksi tärkeimmistä ongelmista on keskittyminen määrällisiin tietoihin. Tämä on hieno asia mittareiden kannalta, mutta se tarkoittaa, että käyttäjän hyväksyttävyystestissä saadaan vain vähän arvokasta tietoa.
Automaattisessa testauksessa on myös suhteellisen vähän joustavuutta, sillä analyytikkojen on koodattava kokonaan uusia testitapauksia aina, kun he haluavat tehdä muutoksen.
Testauksen automatisointiprosessi alkaa useiden testitapausten suunnittelulla, jotka sitten koodataan järjestelmään ennen testien suorittamista, minkä jälkeen testit suoritetaan ja niiden valmistuttua laaditaan raportti.
3. Johtopäätökset: Manuaalinen vai mustan laatikon testausautomaatio?
Viime kädessä valinta manuaalisen ja automaattisen mustan laatikon testauksen välillä on monimutkainen valinta, joka riippuu siitä, mitä järjestelmältä etsitään.
Jos etsit korkealaatuista laadullista tietoa, jota voit käyttää suunnittelumuutosten tekemiseen loppukäyttäjää varten, manuaalinen testaus on ehdottomasti parempi vaihtoehto, ja automatisoitu testaus on ihanteellinen prosessin toiminnallisiin ja suorituskykyyn liittyviin vaiheisiin.
Mieti, mitä etsit testausprosessin jokaisessa vaiheessa, ja saat ohjattua tietoa, joka parantaa suorituskykyäsi helposti.
Mitä tarvitset aloittaaksesi mustan laatikon testauksen?
Ennen mustalaatikkotestauksen aloittamista on oltava käytettävissä joitakin ennakkoedellytyksiä, joista jokainen auttaa luomaan yhtenäisemmän testausprosessin.
Ennen mustalaatikkotestauksen aloittamista on oltava muun muassa seuraavat asiat:
1. Ohjelmistovaatimukset
Ohjelmistovaatimuksilla tarkoitetaan suunnittelutoimeksiannon tiettyjä kohtia, jotka ohjelmisto on suunniteltu täyttämään. Tähän voi sisältyä monenlaisia asioita, kuten tarve suorittaa tietyt tehtävät tai tietyn ulkoasun ja tunnelman noudattaminen.
Kun sinulla on nämä tiedot, voit asettaa testaukselle muutamia erityisiä tavoitteita, ja testaajat voivat laatia testausaikataulun ja -suunnitelman, joka johtaa johdonmukaisempiin tuloksiin, jotka kertovat kehittäjille ohjelmistoon liittyvistä ongelmista.
Joissakin yrityksissä kehittäjät rajoittavat testaajan pääsyä ohjeisiin, koska kyseessä on musta laatikko -testi.
2. Kootut ohjelmistot
Ennen ohjelmiston testaamista laadunvarmistusryhmän on päästävä käsiksi ohjelmistoon. Tämä tarkoittaa yleensä sitä, että kehittäjät toimittavat ohjelmiston uusimman version, ja tiimi hyötyy siitä, että sillä on täysin tuore versio ohjelmistosta testejä varten.
Tuore versio tarkoittaa, että testit sisältävät uusimmat korjaukset, mikä tarkoittaa, että se antaa tarkan kuvan ohjelmiston suorituskyvystä.
3. Testauksen tavoitteet
Testaajilla on tapana lähestyä testausjaksoa tietyt tavoitteet mielessä. Näissä testaustavoitteissa määritellään tarkasti, mitä testataan tulevan ajanjakson aikana, olipa kyse sitten käyttäjän hyväksyttävyydestä, päästä päähän -toiminnallisuudesta tai tunkeutumistestauksen loppuunsaattamisesta.
QA-päälliköillä on yleensä nämä tavoitteet, ja seuraava testausvaihe riippuu yleensä siitä, mitä kehitystiimi on työstänyt ja mihin ohjelmiston osiin tämä kehitys vaikuttaa.
Black Box -testausprosessi
Mustan laatikon testausprosessi on suhteellisen tarkka, ja yritykset hyötyvät prosessin vaiheiden mahdollisimman tarkasta noudattamisesta. Mustan laatikon testausprosessin eri vaiheisiin kuuluvat:
1. Testauksen suunnittelu
Aloita mustan laatikon testausprosessi monimutkaisella suunnitteluprosessilla. Tässä yhteydessä on keskusteltava kaikista yksittäisistä tavoitteista, joita sinulla on testausta varten, ohjelmiston erityispiirteistä, joita tutkit, ja resursseista, joita käytät testaukseen.
Perusteellisempi suunnittelu tarkoittaa, että kaikki tietävät, mitä heidän on tarkoitus tehdä ja milloin, mukaan lukien testeihin liittyvät menetelmät.
2. Testitapausten kirjoittaminen
Testitapausten kirjoittaminen on prosessin seuraava vaihe. Testitapauksella tarkoitetaan sarjaa vaiheita, jotka on suoritettava testissä, ja yksityiskohtaisemmat testitapaukset tarjoavat käyttäjälle enemmän johdonmukaisuutta.
Automaattisessa testausprosessissa tämä tarkoittaa myös testitapauksen koodaamista siinä automaatiotyökalussa, jota aiot käyttää.
Tarkista kaikki testitapaukset kahteen kertaan varmistaaksesi, että ne ovat perusteellisia ja että niiden vaiheet ovat selkeitä.
3. Testitapauksen suorittaminen
Kun olet valmistellut testitapaukset, aloita niiden suorittaminen. Automaatiota käytettäessä tämä voi olla suhteellisen helppo tehtävä, jossa ohjelma asetetaan liikkeelle ja odotetaan tuloksia. Manuaalinen testaus perustuu siihen, että työntekijät suorittavat testitapaukset toistuvasti, ja useammat toistot johtavat johdonmukaisempiin ja laadukkaampiin tietoihin.
Suorita jokainen testitapaus mahdollisimman huolellisesti, sillä mitä tarkemmin testitapaukset suoritetaan, sitä paremmat mahdollisuudet sinulla on saada tietoja, joista on hyötyä kehitystiimille.
4. Lopullinen raportointi
Viimeinen raportointivaihe tarkoittaa sitä prosessin osaa, jossa testausryhmä raportoi kehittäjille.
Aloita sisällyttämällä yksinkertainen yhteenveto kerätyistä tiedoista ja lisää siihen sitten kaikki testaajien keräämät mittarit. Näin kehittäjät saavat alustavia ohjeita ihanteellisesta suunnasta seuraaville päivityksille, ennen kuin heille näytetään täydelliset tiedot, joiden avulla he voivat ymmärtää ongelmia syvällisemmin.
Mustan laatikon testauksen parhaat käytännöt
Toimialasta riippumatta parhaiden käytäntöjen noudattaminen on jokaisen yrityksen kannalta välttämätöntä. Parhaat käytännöt tarkoittavat useita käyttäytymismalleja ja tekniikoita, joita yritys hyötyy käyttämällä päivittäisessä työssään, mikä lisää yrityksen tehokkuutta ja parantaa yrityksen käyttämien ohjelmistojen tasoa.
Joitakin näistä käytännöistä, jotka auttavat yritystä parantamaan mustan laatikon testauksen laatua, ovat:
1. Keskitytään taitojen kehittämiseen
Jos yrityksesi työskentelee samanaikaisesti useiden ohjelmistojen parissa, kannattaa keskittyä testaustaitojen ja -erityisalojen kehittämiseen. Mitä enemmän aikaa käytät erikoistumiseen ja asianmukaisten taitojen kehittämiseen, sitä paremmat mahdollisuudet sinulla on selvittää tuotteissasi olevat ongelmat.
Tämä sopii parhaiten yrityksille, jotka suorittavat lähes jatkuvasti ohjelmistotestausta, sillä näiden taitojen soveltamisesta on aina hyötyä.
2. Tasapainota työmäärät
Jotkut testausryhmät voivat olla hyvin suuria, ja niissä voi olla kymmeniä tai jopa satoja työntekijöitä, jotka kaikki tekevät testitapauksia säännöllisesti.
Paras tapa saada paras mahdollinen hyöty irti näistä työntekijöistä on käyttää aikaa ja olla varovainen, kun annat heille erityistehtäviä. Työuupumus on aiheuttanut ongelmia ohjelmistokehitysalalla, mutta tämä voidaan välttää paremmalla työmäärän hallinnalla.
3. Luo johdonmukaiset prosessit
Yritykset perustuvat prosesseihin, joita niiden henkilökunta suorittaa päivittäin, ja testausprosesseihin kuuluu tapa, jolla yritys kirjoittaa testitapauksiaan, suorittaa tutkimuksia ja viestii sisäisesti eri osastojen välillä.
Johdonmukaisuus on näissä tapauksissa avainasemassa, sillä se tarkoittaa, että ihmiset oppivat nopeammin, kun he tulevat yritykseen. Tämä johtaa nopeampaan sopeutumiseen ja parempiin tuloksiin paljon nopeammin kuin yrityksessä, jonka tehtävät eivät ole keskenään johdonmukaisia.
Jos voit, luo nämä prosessit siten, että henkilöstö osallistuu päätöksentekoprosessiin, sillä näin varmistat, että he hyväksyvät strategian.
7 virhettä ja sudenkuoppaa Black Box -testien toteuttamisessa
Virheet ovat luonnollisia millä tahansa alalla, mutta jos tiedät virheistä ennen kuin sinulla on tilaisuus tehdä niitä, voit säästää paljon aikaa ja vaivaa.
Joitakin yleisimpiä virheitä ja sudenkuoppia, joihin mustan laatikon testaajat sortuvat, ovat:
1. Määritellyn testauksen laajuuden puute
Jotkut organisaatiot aloittavat tuotteidensa testauksen suunnittelematta prosesseja kunnolla, mikä on merkittävä virhe.
Suunnittelun laiminlyönti voi johtaa siihen, että yritykset menettävät käsityksensä testauksen laajuudesta. Sovittu laajuus auttaa testaamaan oikean mittakaavan ja saavuttamaan tehokkaita tuloksia.
Jos et sovi testauksen laajuudesta ennen testauksen aloittamista, on suuri vaara, että testaat liian laajasti ja käytät liikaa aikaa saadaksesi vähemmän merkityksellisiä tuloksia.
2. Kiirehtivät testausprosessit
Testaus voi tuntua prosessilta, joka kestää hyvin kauan, varsinkin kun on kyse pitkistä testitapauksista, jotka on suunniteltu koko sovelluksen tutkimiseen. Joillakin ihmisillä voi olla kiusaus kiirehtiä testejä, erityisesti aiempien testien uusimisessa. Tämä on vakava virhe. Testauksen kiirehtiminen voi johtaa virheisiin testitapausten suorittamisessa, mikä heikentää tietojen arvoa ja tarkoittaa lopulta sitä, että samat testit on joka tapauksessa tehtävä uudelleen.
3. Automatisointi ilman tarkastusprosessia
Testauksen automatisoinnissa keskitytään ensisijaisesti varmistamaan, että tietoarvon syöttäminen johtaa oikeaan tulosteeseen prosessin lopussa. Näiden testien automatisointi toimii siten, että automatisoidun prosessin tulosta verrataan siihen, mitä tulosten pitäisi olla.
Jotkut testaajat tekevät merkittävän virheen, kun he eivät laske arvoa itse, mikä tarkoittaa, että heillä ei ole mitään keinoa tarkistaa, onko tuloste oikea, ja he eivät mahdollisesti löydä merkittäviä virheitä koko järjestelmästä.
4. Hybriditestauksen käyttämättä jättäminen
Hybriditestauksella tarkoitetaan automaation ja manuaalisen testauksen tasapainottamista, sillä nämä kaksi menetelmää toimivat tavalla, joka kattaa täydellisesti toistensa puutteet.
Jotkin organisaatiot keskittyvät kuitenkin mieluummin jompaankumpaan näistä kahdesta menetelmästä. Tällä tavoin avaat testauksen vakaville ongelmille ja epätarkkuuksille.
Suorita hybriditestausta, jotta saat testaukseen paremman tasapainon ja vähennät virheiden määrää mahdollisimman merkittävästi.
5. Regressiotestauksen suorittamatta jättäminen
Regressiotestauksen pitäisi olla jatkuva prosessi missä tahansa tehokkaassa ohjelmistotestausjärjestelmässä, ja tämän testauksen avulla selvitetään, ovatko ohjelmistopäivitykset aiheuttaneet ongelmia muualla järjestelmässä. Regressiotestauksen tekemättä jättäminen tarkoittaa, että varhaisessa vaiheessa testaamasi toiminnot saattavat epäonnistua huomaamattasi.
Suorittamalla regressiotestauksen varmistat, että toimitat korkealaatuisemman tuotteen ilman, että laadunvarmistusprosessi vaatii liikaa lisätyötä.
6. Aktiivinen vikojen metsästys
Jotkut luulevat, että mustan laatikon testauksen tavoitteena on löytää ohjelmistosta virheitä ja raportoida niistä kehitystiimille, ja vaikka tämä on yksi osa-alue, se ei ole ainoa painopiste. Testauksen tarkoituksena on yleisesti parantaa ohjelmistopaketin tasoa.
Keskittymällä liiaksi ohjelmiston vikoihin alat liikkua tavanomaisten työnkulkujen ulkopuolella, jolloin testauksen soveltamisalan ulkopuolelle ja jätät huomioimatta joitakin ohjelmiston olennaisempia ongelmia jahdatessasi koodista mahdollisesti epäolennaisia vikoja.
7. Intuition huomiotta jättäminen
Manuaalisessa testauksessa testaajalla on tämä rooli, koska hänellä on intuitionsa ja koodin tuntemus, joka ohjaa häntä mahdollisten ongelmien suhteen ja kertoo hänelle, mitä alueita hänen on tutkittava, kun hän työskentelee.
Jotkut kuitenkin jättävät tämän intuition täysin huomiotta testitapauksia laatiessaan. Kun merkitset muistiin kaiken, mitä haluat testata, ja tarkistat sen uudessa testitapauksessa, saat täyden hyödyn teknisestä tietämyksestäsi ja saat samalla valmiit testitapaukset valmiiksi.
Mustan laatikon testien tulostyypit
Mustan laatikon testauksesta voidaan saada useita erilaisia tuloksia, joista jokainen tarjoaa ainutlaatuisia tietoja yritykselle, joka haluaa tehdä tuotteisiinsa asianmukaisia päivityksiä ja parantaa asiakkaiden kokemaa laatua.
Mustan laatikon testien päätulostyyppejä ovat muun muassa seuraavat:
1. Laadulliset tiedot
Ensimmäinen mustan laatikon testistä saatava tulos on laadullinen tieto. Nämä tiedot kuvaavat ensisijaisesti sovellusta, ja ne saadaan testeistä, kuten päästä päähän -testauksesta ja käytettävyystesteistä.
Kvalitatiivinen aineisto kuvaa tyypillisesti sovelluksen tasoa, kertoo ihmisten kokemuksista sovelluksesta ja selittää muutokset, joita testaaja haluaisi tehdä.
Näitä tietoja luodessaan testaaja kirjoittaa yleensä perusteellisen raportin, jossa hän esittää kaikki todisteet pisteidensä tueksi ja tukee laadullisia mielipiteitä lisäominaisuuksilla, kuten kuvakaappauksilla siitä, mihin hän viittaa.
2. Määrälliset tiedot
Tällä tarkoitetaan selkeää numeerista tietoa mittareiden muodossa, jolloin testaushenkilöstön jäsenet joko panevat merkille sovelluksen tietyt osat tai saavat numeerista tietoa automaatiotestausprotokollasta.
Määrälliset tiedot ovat yleensä hyödyllisempiä, kun kehittäjille tarjotaan erillisiä korjauksia, jotka osoittavat sovelluksen osia, kuten sen suorituskyvyn tason, sen tehokkuuden käytettyjen resurssien suhteen sekä sovelluksessa esiintyvien virheiden ja ongelmien määrän.
Kvantitatiivista tietoa on yksinkertaisempi analysoida ja arvioida kuin sen kuvailevaa vastinetta, koska sitä ei tarvitse tulkita.
3. Virheilmoitukset
Virheilmoituksia tulee, kun ohjelmiston toiminnot eivät toimi odotetulla tavalla. Tämä voi johtua laitteisto- tai ohjelmisto-ongelmista, ja yleensä virhekoodin lisäksi annetaan lyhyt kuvaus ongelmasta.
Kehittäjät luovat virhekoodijärjestelmän, jonka avulla he voivat rajata tarkalleen, missä järjestelmässä ongelma ilmenee. Joitakin ideoita voidaan toteuttaa esimerkiksi käyttämällä ensimmäistä numeroa ongelman aiheuttavan toiminnon rajaamiseen, toista numeroa kuvaamaan, mikä nimenomaan epäonnistui, ja kolmatta numeroa ongelman syyn ilmoittamiseen.
Tämän virhekoodijärjestelmän käyttö tarkoittaa, että kehittäjät tietävät heti, mistä ongelma johtuu, ja voivat työskennellä ratkaisun löytämiseksi.
Esimerkkejä Black box -testeistä
Vaikka mustalaatikkotestauksen teoria on suhteellisen yksinkertainen, sen toteuttaminen käytännössä voi olla monimutkainen prosessi, erityisesti ensikertalaiselle testaajalle. Mustan laatikon testauksen esimerkin näkeminen toiminnassa voi auttaa sinua testauksen järjestämisessä.
Esimerkkejä mustan laatikon testausmenetelmistä, joihin kuuluu useita erilaisia testaustyyppejä ja eriasteista menestystä, ovat muun muassa seuraavat:
1. Tehoton käyttäjien hyväksymistestaus
Eräs yritys aikoo julkaista tuotteensa lähiviikkoina, mutta käyttäjien hyväksymistestaus on vielä tekemättä. Sovellus on iäkkäälle yleisölle suunnattu neuleopastus.
Kehittäjät pyrkivät nopeuttamaan tätä prosessia ja keräämään testaajien ryhmän nopeasti käyttämällä testaamiseen yksinomaan kolmekymppisiä ei-neulojia, koska he olivat helpommin lähestyttävä ryhmä. Ryhmä ei näe hakemuksessa mitään ongelmia ja antaa sille vihreät valot julkista julkaisua varten.
Koska näiden kahden ryhmän teknisen tietämyksen taso on ristiriitainen, kohdeyleisö on enemmän hämmentynyt käyttäessään ohjelmistoa, eikä se voi käyttää monia ominaisuuksia. Tämän vuoksi yritys joutuu tekemään kiireellisiä päivityksiä.
Tämän kaltaiset epäonnistumiset testauksessa osoittavat perusteellisen valmistautumisen tärkeyden.
2. Onnistunut päästä päähän -testaus
End-to-end-testauksella tarkoitetaan testausta, joka suoritetaan sen jälkeen, kun sovelluksen toiminnot on koottu ensimmäistä kertaa kokonaan yhteen ohjelmistopakettiin.
Yritys on suunnitellut huolellisesti koko testausprosessin loppuun saattamisen, ja sillä on useita työntekijöitä, jotka on palkattu nimenomaan testaustehtävien suorittamiseen, ja kaksi työntekijää on varattu kullekin testitapaukselle.
Huolellisen prosessin jälkeen he suorittavat testitapaukset ja merkitsevät muistiin kaikki keräämänsä tiedot, ja laadunvarmistuspäällikkö kokoaa tiedot yhtenäiseksi raportiksi testauksen päätteeksi.
Kehittäjät käyttävät tätä raporttia suunnitellessaan seuraavia päivityksiä ja muutoksia sovellukseen, mikä parantaa tuotetta merkittävästi.
3. Automatisoitu regressiotestaus
Eräs kehittäjä on saanut valmiiksi sarjan päivityksiä ohjelmistoonsa, joka ennen päivityksiä toimi odotetusti. Päivitysten jälkeen testausryhmä käy läpi regressiotestausprosessin, jossa keskitytään automatisointiin ja automatisoidun alustan luomiseen kaikkien perustoimintojen suorittamiseksi.
Tiimi kirjoittaa testitapauksen koodin ja suorittaa testitapaukset, lukee kaikki testitulokset läpi ja etsii mahdolliset ongelmat.
Näin estetään ongelmien syntyminen sen vuoksi, että organisaatio tekee päivityksiä ja jättää tarkistamatta, onko niissä ongelmia vai ei.
Mustan laatikon testauksen avulla havaitut virheet ja viat tyypit
Vaikka virheet ja viat eivät olekaan kaikki mustan laatikon testausprosessissa, ne ovat merkittävä osa yritysten tapaa tehdä testausta.
Joidenkin tärkeimpien virhetyyppien ja vikojen tunteminen mustalaatikkotestauksessa voi auttaa sinua luokittelemaan kohtaamasi ongelmat ja ymmärtämään paremmin, miksi niitä esiintyy.
Mustan laatikon testauksen avulla voidaan havaita muun muassa seuraavia virhetyyppejä ja vikoja:
1. Käytettävyysvirheet
Käytettävyysvirheillä tarkoitetaan ohjelman puutteita, jotka eivät varsinaisesti vaikuta toiminnallisuuteen, mutta voivat aiheuttaa ongelmia käyttäjälle, joka yrittää toimia vuorovaikutuksessa ohjelmiston kanssa.
Jos esimerkiksi sovelluksessa on vakava grafiikkahäiriö, se on teknisesti edelleen toimiva, mutta ilman oikeita kuvakkeita ja tekstiä loppukäyttäjä ei voi käyttää sitä tehokkaasti. Nämä ongelmat liittyvät yleensä sovelluksen suunnitteluun ja siihen, miten se latautuu käyttäjälle, ja monimutkaisemmat sovellukset vaativat monimutkaisempia grafiikoita kuin yksinkertaisemmat käyttöliittymät.
2. Toiminnalliset virheet
Toiminnallisilla virheillä tarkoitetaan ongelmia, jotka ilmenevät, kun jokin ohjelman osa ei toimi odotetulla tavalla.
Jos esimerkiksi käytät tietokantaohjelmistoa ja yrität lajitella tietoja tietyn luokan mukaan, mutta huomaat, että se ei toimi. Tämä koskee sekä toimintoja, jotka eivät toimi lainkaan, että toimintoja, jotka näyttävät toimivan, mutta toimivat väärin.
Nämä voivat olla sovelluksen merkittävimpiä ongelmia, jotka aiheuttavat käyttäjille huomattavaa haittaa ja heikentävät kehittäjän mainetta, kun tuote ei toimi mainostetulla tavalla.
3. Törmäykset
Kun ohjelmisto kaatuu, ohjelmistossa on perustavanlaatuinen ongelma, joka estää sen toiminnan. Kaatumisia voi tapahtua useissa eri muodoissa, kuten silloin, kun sovellus sulkeutuu kokonaan tai vain jähmettyy jossakin vaiheessa prosessia.
Kaatuminen on yksi vakavimmista ongelmista, joita voi ilmetä, koska sovelluksen toimintaa ei voi palauttaa muuten kuin sulkemalla ja avaamalla se kokonaan uudelleen. Vaikka joissakin sovelluksissa on edelleen taustalla käynnissä prosesseja, ohjelmiston kanssa ei voi olla vuorovaikutuksessa tämän jälkeen.
Yleiset mustan laatikon testausmittarit
Manuaalinen mustalaatikkotestaus on erinomaista laadullisten tietojen tuottamisessa, mutta kun keskityt määrällisiin tietoihin, sinun on oltava tietoinen tarkistamistasi mittareista. Näiden mittareiden täydellinen ymmärtäminen auttaa sinua ymmärtämään alustan puutteet ja asettamaan eri osa-alueet tärkeysjärjestykseen.
Joitakin yleisempiä mustan laatikon testauksen mittareita, joita löydät työstäsi, ovat:
1. Virheiden määrä
Virheprosentilla voidaan viitata pariin asiaan, joko ohjelmiston testausjakson aikana tapahtuvien virheiden puhtaaseen lukumäärään tai testituntia kohden tapahtuviin virheisiin. Tuntikohtaiset mittarit ovat parempia, koska ne kuvaavat ohjelmiston virhetiheyttä sen sijaan, että ne ilmoittaisivat pelkän luvun, jolloin suuremmat sovellukset saattaisivat saada väärän kuvan.
Kehittäjät pyrkivät rajoittamaan sovellustensa virhetasoa, sillä mitä vähemmän virheitä ohjelmistopaketissa on, sitä parempi on asiakkaan kokemus järjestelmän käytöstä.
2. Vasteaika
Kun testaaja haluaa saada lisätietoja käyttäjän kokemasta suorituskyvystä, vasteaika on yksi tärkeimmistä huomioon otettavista seikoista. Tällä tarkoitetaan aikaa, joka ohjelmistolta kuluu tehtävän suorittamiseen sen jälkeen, kun käyttäjä on syöttänyt kehotteen, ja pidemmät vasteajat osoittavat, että sovellus on suhteellisen tehoton. Suuremmat vasteajat ovat huolestuttavia, sillä käyttäjät voivat menettää kärsivällisyytensä sovelluksen kanssa, joka kestää liian kauan.
3. Käyttäjien tyytyväisyys
Useimmissa mittareissa keskitytään puhtaisiin numeroihin, joita ohjelmistopaketti ja testausohjelmisto tuottavat testissä, mutta joissakin mittareissa keskitytään mielipiteisiin.
Jos yritys tekee beta-testauksen, jossa käytetään esimerkiksi 1000 testaajaa, se voi kerätä tietoja tyytyväisten ihmisten määrästä ja muuttaa sen prosenttiluvuksi. Tämä on erittäin hyödyllinen mittari syklin lopussa, sillä korkeampi käyttäjätyytyväisyys osoittaa, että useammat ihmiset nauttivat ohjelmasta ja että se todennäköisesti menestyy hyvin myös tulevaisuudessa.
Parhaat Black Box -testaustyökalut
Mustalaatikkotestaus on testauksen muoto, joka voi riippua merkittävästi siitä, että käytössä on työkaluja sekä mustalaatikkotestauksen automatisoimiseksi että testeistä saatavien tietojen järjestämiseksi.
Oikean työkaluyhdistelmän käyttö voi auttaa sinua ja tiimiäsi työskentelemään paljon tehokkaammin ja rakentamaan tehokkaampia prosesseja koko laadunvarmistusosastolle.
Tutustu alla oleviin parhaisiin mustan laatikon testaustyökaluihin ja opi, miten kukin niistä voi auttaa sinua menestymään:
5 parasta ilmaista Black Box -testaustyökalua
Pienillä ja kehittyvillä yrityksillä, kuten itsenäisillä kehittäjillä, ei ole suurta budjettia käytettävissään ohjelmistoja luodessaan. Tämä voi tuoda mukanaan monenlaisia haasteita, kuten oikeiden työkalujen löytämisen.
Seuraavassa on joitakin parhaita ilmaisia työkaluja, joita on saatavilla riippumattomille kehittäjille, jotka haluavat parantaa työnkulkujaan pienellä budjetilla:
1. ZAPTEST ILMAINEN PAINOS
ZAPTESTin ilmainen versio on täydellinen johdatus ohjelmistotestauksen automatisointiin. Tämä työkalu on suunniteltu tukemaan minkä tahansa tehtävän automatisointia, ja se auttaa sinua työskentelemään nopeammin ja tehokkaammin riippumatta siitä, mitä tehtävää olet suorittamassa.
ZAPTESTin ilmaisversio sisältää valtavan määrän toimintoja, jotka tukevat minkä tahansa sovelluksen automatisointia… 1SCRIPT-toteutus selainten, laitteiden ja sovellusten välillä sekä rinnakkainen suoritus ovat yksi käytettävissä olevista ominaisuuksista.
2. JIRA
JIRA:n ilmaiset versiot ovat ihanteellisia työkaluja vikojen merkitsemiseen, niiden yksityiskohtien lisäämiseen tiketteihin ja niiden priorisointiin, kun kommunikoidaan kehitystiimin kanssa.
Tämä ei kuitenkaan ole mikään kaiken kattava automaatioapu, vaan se on erikoistunut yksinomaan testausprosessin projektinhallintapuolelle.
3. Selenium IDE
Avoimen lähdekoodin sovellus, joka tallentaa ja toistaa testiautomaation, on hyvä työkalu nähdäksesi, mitä automaatioalusta näkee testiä suoritettaessa.
Yksi Seleniumin puutteista on edistyneiden ominaisuuksien, kuten automatisoitujen tehtävien alustarajat ylittävän integroinnin, suhteellinen puute.
4. AutoHotkey
AutoHotkey on täysin ilmainen ja avoimen lähdekoodin skriptikieli, joka on saatavilla Windowsille ja jonka avulla käyttäjät voivat luoda erikokoisia skriptejä, jotka suorittavat sarjan tehtäviä yhden näppäimen painalluksen jälkeen.
Vaikka AutoHotkey on hyvä yksinkertaisten tehtävien automatisointiin, se voi alkaa vaikeutua suurempien skriptien ja automaatiovaatimusten kanssa.
5. Appium
Työkalu on ensisijaisesti iOS-sovellusten automatisoinnissa erinomainen, ja se on ihanteellinen ohjelma, kun haluat parantaa mobiilisovellusten laatua.
Appiumin suurin haittapuoli on se, että voit käyttää vain hyvin pientä tuotevalikoimaa, mikä supistaa käytettävissä olevia markkinoita merkittävästi.
5 parasta yrityksen Black Box -testaustyökalua
Ilmaiset työkalut ovat kaikki hyviä, mutta yritykset ja suuret yhtiöt tarvitsevat enemmän ominaisuuksia voidakseen testata ohjelmistonsa perusteellisesti. Onneksi joillakin parhaista yritysten mustan laatikon testaustyökaluista on kattavat toiminnot, ja ne auttavat yrityksiä saamaan merkittävää tuottoa QA-prosessiensa investoinneille.
Joitakin ihanteellisia yrityksen mustan laatikon testaustyökaluja, joihin kannattaa harkita investoimista, ovat:
1. ZAPTEST ENTERPRISE EDITION
ZAPTESTin Enterprise-versio on yksi markkinoiden merkittävimmistä automatisointityökaluista, ja se voi tarjota jopa 10-kertaisen tuoton tuotteellesi.
Ominaisuudet, kuten kokoaikaisen ZAP-asiantuntijan käyttömahdollisuus tiimisi etäosana ja rajoittamattomat lisenssit, varmistavat, että voit ottaa käyttöön mustan laatikon testauksen automatisoinnin ilman jyrkkää oppimiskäyrää ja kiinteään hintaan riippumatta siitä, kuinka nopeasti kasvat.
2. TestRail
TestRail on reaaliaikaiseen testaukseen keskittyvä alusta, jonka tavoitteena on yhdistää testit yhtenäiseen projektinhallinta-alustaan. Vaikka tämä on ihanteellista tiiminhallintatyön keskittämiseen, automaatio-ominaisuudet eivät ole läheskään täydellisiä kehitystiimille, jotka haluavat painottaa automatisoituja testejä.
3. Opkey
Opkey on alusta, joka keskittyy ilman koodia tapahtuvaan automatisointiin, mikä tarkoittaa, että ihmiset, joilla ei ole teknistä osaamista, voivat alkaa automatisoida testauspalvelujaan.
Yksi Opkeyn tärkeimmistä puutteista on ohjelmistoa ympäröivän aktiivisen yhteisön puute, mikä voi jättää sinut suhteellisen jumiin, kun yrität automatisoida ohjelmia sinulle uudella tavalla.
4. Perfecto
Perfecto on työkalu, joka keskittyy auttamaan käyttäjiä automatisoimaan mobiilisovelluksia ilman vakavia ongelmia, työskentelemään useilla eri laitteilla ja keskittymään päästä päähän -testaukseen.
Sovellus toimii kuitenkin todellisilla laitteilla eikä virtuaalikoneilla, mikä lisää kustannuksia rajoitetuilla alustoilla jo suhteellisen kalliiksi muodostuneeseen testausvälineeseen.
5. JIRA Enterprise
Testauksen automatisointipuolen loppuunsaattamisen lisäksi projektinhallinta on edelleen tärkeää, ja JIRA on tässä yhteydessä avuksi. Enterprise JIRA:ssa on enemmän tallennustilaa ja useammat käyttäjät voivat käyttää alustaa, mutta se voi aiheuttaa sekaannusta, kun kullekin käyttäjälle on määriteltävä omat oikeudet ja käyttöoikeudet. Tämä vie paljon hallinnollista aikaa.
Milloin sinun tulisi käyttää
Enterprise vs. Freemium Black Box -työkalut?
Aluksi suurin osa yrityksistä käyttää freemium-työkaluja. Tämä on taloudellisesti järkevää, sillä yksikään älykäs yritys ei halua investoida tuotteeseen, jota se ei täysin ymmärrä, olipa kyse sitten projektinhallinnan tai automaation näkökulmasta.
Freemium-työkalut eivät ole vain täysin ilmaisia sovelluksia, vaan ne voivat sisältää ilmaisia versioita yritystuotteista, joita yritys käyttää opetellessaan työkalun käyttöönottoa prosesseissaan.
Organisaation on parasta päivittää työkaluvalintansa yritysversioon silloin, kun yritys alkaa kokea kitkaa testausprosesseissaan ilmaisen työkalun vuoksi. Olipa kyseessä sitten ilmainen työkalu, joka tarjoaa vain tietyn määrän lisenssejä, tai testauksen määrä, heti kun alat kokea prosessiesi tehottomuutta testaustyökalujesi ansiosta, sinun on syytä siirtyä käyttämään yritysversiota, joka vastaa kaikkia tarpeitasi.
Mustan laatikon testauksen tarkistuslista, vinkkejä ja temppuja
Koska mustalaatikkotestaus on erittäin monimutkainen testausmenetelmä, jossa on paljon mahdollisuuksia kartuttaa tietämystäsi ohjelmistopaketista, sinun on otettava huomioon muutamia asioita.
Joitakin tärkeitä vinkkejä ja temppuja, jotka kannattaa sisällyttää mustan laatikon testauksen tarkistuslistaan, ovat:
– Toimeksiannon ymmärtäminen
Ennen kuin alat tehdä testausta koskevia suunnitelmia, varmista, että ymmärrät testausjakson laajemman tehtävänmäärittelyn. Tähän kuuluu ohjelmiston ymmärtäminen niin pitkälle kuin se on sallittua ja sen oppiminen, mitä sinun on tarkoitus testata.
– Testitapauksen oikoluku
Yritä saada kaikki testaukseen osallistuvat arvioimaan testitapauksia, joita käytät mustalaatikkotestauksessa. Mitä useammat silmät näkevät testitapauksen ennen toteutusta, sitä paremmat mahdollisuudet sinulla on poistaa mahdolliset virheet.
– Järjestä luettelo tehtävistä asioista
Mustalaatikkotestaukseen valmistautumisen ei-tekninen puoli voi olla yhtä tärkeä kuin tekninen puoli. Kun suunnittelet, laadi johdonmukainen luettelo tehtävistä asioista, jossa määritellään, kuka testaa mitäkin ohjelmiston osaa mihinkin tiettyyn aikaan. Tämä vähentää sekaannusta, mahdollista loppuunpalamista ja viivästyksiä, jotka johtuvat siitä, että muut tehtävät ottavat ohjat käsiinsä.
– Tallenna tulokset välittömästi
Tallenna kaikki testin tuottamat tulokset välittömästi. Jos odotat liian kauan manuaalisten testien kanssa, voit muistaa asiat väärin, joten välittömät muistiinpanot lisäävät tarkkuutta merkittävästi.
– Yhteydenpito kehittäjien kanssa
Keskustele testauksen aikataulusta ja strategiasta kehittäjien kanssa, jotta he ymmärtävät, mitä tapahtuu ja milloin he voivat odottaa työskentelevänsä uusien päivitysten parissa. Tähän kuuluu myös selkeiden prosessien määrittäminen, joiden avulla osastot kommunikoivat keskenään.
– Toimintakelpoiset tiedot
Kun kirjoitat raporttia, varmista, että kaikki kehittäjälle antamasi tiedot ovat käyttökelpoisia. Tämä auttaa tiimiä kehittämään tuotteen, joka vastaa sen ongelmiin, sen sijaan että kehittäjä ei ymmärtäisi, mitä muutoksia hänen on tehtävä.
– Ymmärrä prioriteettisi
Testaustiiminä ensisijainen tehtäväsi on varmistaa, että yritys toimittaa käyttäjilleen laadukkaan tuotteen. Jos testaaminen kestää hieman odotettua kauemmin, muista, että se on kannattava vastine asiakkaan kokemalle laadun paranemiselle.
– Tunne hierarkia
Ihanteellisessa kehitysyhtiössä kehittäjät ja testaajat ovat samalla hierarkiatasolla, ja heillä on yhtä suuri vaikutusvalta siihen, miten ohjelmisto kehittyy. Ymmärrä organisaatiosi hierarkia ja pyri varmistamaan, että kaikki ymmärtävät hyvän testauksen arvon.
– Säilytä johdonmukainen dokumentaatio
Säilytä kopiot kaikista testauksen aikana tuottamistasi tiedoista ja raporteista. Voit seurata sovelluksen muutoksia, joista testausryhmä on vastuussa, sekä tarkastella vanhoja virheitä, jotta näet, toistuvatko ne tulevissa versioissa.
Päätelmä
Mustan laatikon testaus on viime kädessä yksi tärkeimmistä ohjelmistotestausprosessin osista. Se auttaa yrityksiä varmistamaan, että niiden toimittamat tuotteet ovat mahdollisimman korkeatasoisia, ja se hyödyntää näkökulman muutosta tarjotakseen ainutlaatuista tietoa siitä, miten ulkoinen käyttäjä havaitsee ja toteuttaa sovelluksen.
Yritykset, jotka eivät lisää prosesseihinsa mustan laatikon testausta, sekä automatisoitua että manuaalista, menettävät mahdollisuuden parantaa sovelluksensa laatua huomattavasti. Testaa älykkäästi, ja saat palkinnon, kun asiakkaasi saavat tuotteesi käyttöönsä.
Usein kysytyt kysymykset & resurssit
Riippumatta siitä, kuinka paljon tiedät mustalaatikkotestauksesta, sinulla saattaa olla lisää kysymyksiä ja haluat ehkä syventää tietämystäsi menetelmästä. Alla olevissa usein kysytyissä kysymyksissä saat lisätietoja mustalaatikkotestauksesta ja voit tutustua erilaisiin resursseihin, jotka kertovat lisää menetelmästä.
1. Parhaat kurssit Black box -testausautomaatiosta
Mustan laatikon testauksen automatisoinnista on olemassa useita kursseja, joista jokainen auttaa ihmisiä saavuttamaan erilaisen testausstandardin.
Eräitä arvostetuimpia saatavilla olevia mustan laatikon testauksen kursseja ovat:
– ”Mustan laatikon ja valkoisen laatikon testaus” by Coursera
– BBST:n ”Black-Box-ohjelmistotestaussarja”.
– ”Johdatus mustan laatikon ohjelmistotestausmenetelmiin” by Udemy
– ”Ohjelmistoautomaatiotestaus” London School of Emerging Technologyn toimesta
– ”Kolme keskeistä mustan laatikon testaustekniikkaa” by Udemy
2. Mitkä ovat 5 tärkeintä haastattelukysymystä mustan laatikon testauksesta?
Ohjelmistotestaus on erittäin kilpaillut ala, jolla jokaista avointa työpaikkaa hakee paljon hakijoita. Jos saat haastattelun mustan laatikon testauksen alaan liittyvään tehtävään, voit valmistautua vastaamaan näihin kysymyksiin haastattelussa:
– Mitä kokemusta sinulla on mustan laatikon testauksesta?
– Mitkä ovat mustan laatikon ja valkoisen laatikon testauksen tärkeimmät erot?
– Onko sinulla aiemmissa tehtävissäsi kokemusta ohjelmistoautomaation parissa työskentelystä?
– Voitko kertoa meille, milloin olet kokenut haasteita työpaikalla ja miten selvisit niistä?
– Mikä on mielestäsi mustalaatikkotestauksen tulevaisuus ja miten taitosi sopivat pitkän aikavälin uralle ohjelmistotestauksen alalla?
3. Parhaat Youtube-oppaat mustan laatikon testauksesta
YouTube on yksi tärkeimmistä oppimisresursseista, joita ohjelmistotestaustaitojaan kehittävillä ihmisillä on käytettävissään, sillä se tarjoaa ilmaisen tietolähteen, jonka avulla voit kehittää tekniikkaasi.
Joitakin parhaita opetusohjelmia, joita kannattaa katsoa, kun opettelet mustalaatikkotestausta, ovat:
– ”Mustan ja valkoisen laatikon testauksen käyttöönotto – Georgia Tech – Ohjelmistokehitysprosessi” by Udacity
– ”Musta laatikko ja lasilaatikko -testaus” MIT OpenCourseWare -ohjelmalla.
– ”7 mustan laatikon testaustekniikkaa, jotka jokaisen laadunvarmistajan tulisi tuntea” (The Testing Academy)
– ”Mustalaatikkotestaus | Mikä on mustalaatikkotestaus | Opi mustalaatikkotestaus” by Intellipaat
– ”Mitä on valkoinen vs. harmaa vs. musta laatikko -testaus?” by ITProTV
4. Miten ylläpitää Black Box -testejä?
Mustan laatikon testien ylläpidossa, olivatpa ne sitten manuaalisia tai automatisoituja testejä, on kyse siitä, että testeihin kiinnitetään huomiota niiden edetessä ja että niihin haetaan jatkuvasti korjauksia, jos niissä ilmenee ongelmia.
Tähän kuuluu sen varmistaminen, että kaikki testitapaukset toimivat odotetulla tavalla joka kerta, ja sen tarkistaminen, että automaattiset työkalut käyvät läpi kaikki oikeat vaiheet. Tee tämä mahdollisimman usein, jotta standardit eivät lipsuisi, sillä hyvin ylläpidetty musta laatikko -testi antaa mahdollisimman tarkat tulokset.
5. Parhaat kirjat mustan laatikon testauksesta
Vaikka mustalaatikkotestaus ja ohjelmistotestaus kokonaisuudessaan on jatkuvasti kehittyvä ala, on useita kirjoja, jotka ovat edelleen ajankohtaisia ja tarjoavat paljon tietoa testaustyön parantamiseen.
Parhaita mustan laatikon testausta käsitteleviä kirjoja ovat muun muassa:
– ”Musta laatikko -testaus: Boris Beizer: Techniques for Functional Testing of Software and Systems”.
– ”Ohjelmistotestaus: Srinivasan Desikan, Gopalaswamy Ramesh: Principles and Practice
– ”Essentials of Software Testing” (Ohjelmistotestauksen perusteet), kirjoittaneet Ralf Bierig, Stephen Brown, Edgar Galván.
– ”Johdatus ohjelmistotestaukseen”, kirjoittaneet Paul Ammann, Jeff Offutt
