Betatesten is een van de populairste vormen van testen omdat het echte feedback van gebruikers kan verzamelen – dit helpt bedrijven (en onafhankelijke ontwikkelaars) hun code aanzienlijk te verbeteren. De betateststrategie van een organisatie kan zelfs een belangrijke factor zijn in haar vermogen om werkende softwareprogramma’s te leveren. Dit betekent dat het van cruciaal belang is dat u en uw bedrijf weten hoe deze techniek werkt en hoe u door de uitdagingen ervan kunt navigeren en een stabiel product kunt garanderen.
Inzicht in de grondbeginselen van bètatesten, naast de beschikbare software die de testers kan helpen, stelt het ontwikkelingsteam in staat de nodige wijzigingen aan te brengen voor en zelfs na de release. Deze methode gaat het best samen met alfatests, zodat ontwikkelaars en testers alle mogelijke aspecten van hun kwaliteitsborgingsproces kunnen bestrijken.
In dit artikel bekijken we hoe een sterke aanpak van bètatests softwarebedrijven helpt betere programma’s af te leveren, naast de specifieke stappen en fouten die daarbij komen kijken.
Wat is bètatesten?
Bètatests zijn een vorm van kwaliteitsborging waarbij specifiek wordt onderzocht hoe gebruikers een product zouden gebruiken – en of er problemen met de software zijn die moeten worden verholpen. Dit omvat voornamelijk testers uit de beoogde doelgroep, maar kan ook andere demografische groepen omvatten om een toegankelijke gebruikerservaring te garanderen.
Tijdens bètatests wordt elke functie onder de loep genomen; deze controles bieden ook een nieuw perspectief en helpen testers problemen te vinden die ontwikkelaars waarschijnlijk over het hoofd zullen zien. Afhankelijk van wanneer deze tests plaatsvinden, kan het bedrijf eventueel ontdekte problemen oplossen voordat het programma wordt vrijgegeven.
1. Wanneer en waarom moet u bètatests uitvoeren?
Betatests beginnen meestal na alfatests maar vóór de lancering van het product; meestal wanneer de toepassing ongeveer 95% voltooid is. Dit betekent dat de ervaring van de bètatesters sterk lijkt op, zo niet identiek is aan die van de uiteindelijke gebruikers – en garandeert dat er vóór de release geen grote wijzigingen in het productontwerp zijn die de tests zouden kunnen beïnvloeden.
Betatesten is een kans voor ontwikkelaars om een frisse kijk op hun werk te krijgen. Dit is vooral nuttig om de gebruikerservaring te onderzoeken, inclusief hoe gemakkelijk het voor mensen is om uit te zoeken hoe de software precies werkt.
2. Wanneer je geen bètatesten hoeft te doen
Bedrijven kunnen hun alfatests en andere vormen van kwaliteitsborging uitvoeren vanuit het perspectief van de gebruiker, of zelfs testprogramma’s met computervisie inzetten om dit te vergemakkelijken. Dit dekt niet alle mogelijke invalshoeken, maar kan een effectieve vervanging zijn als het de organisatie aan tijd en geld ontbreekt om bètatests uit te voeren.
Zelfs in deze situaties kunnen bètatests bijzonder nuttig zijn en het bedrijf op lange termijn meer geld besparen. Er zijn maar weinig programma’s die geen bètatests kunnen gebruiken; dit is bijna altijd een waardevolle investering voor elke teststrategie.
3. Wat verwarring ophelderen: Beta Testing vs. Alpha Testing
Hoewel deze twee processen behoorlijk op elkaar lijken, is het belangrijk dat u de verschillen kent tussen alfa- en bètatesten bij het testen van software.
Wat zijn alfatests?
Alfatests zijn een andere vorm van gebruikersacceptatietests waarbij vooral wordt gekeken naar een eerder stadium van een programma om zowel grote als kleine ontwikkelingsproblemen te beoordelen. Meestal gaat het om een checklist van onderdelen en gangbare softwaretests, zodat een uitgebreide dekking mogelijk is.
In de meeste gevallen zorgt het interne testteam van het bedrijf hiervoor – wat betekent dat zij doorgaans vertrouwd zijn met de toepassing en de werking ervan. Bijgevolg kunnen er bepaalde blinde vlekken in de testprocedure zijn die alleen bètatesters kunnen vinden.
Bètatests vs. alfatests
Zowel alfatests als bètatests zijn vormen van gebruikersacceptatietests; dat betekent dat ze elkaar aanvullen wanneer ze samen worden gebruikt. Bij elke benadering wordt in verschillende ontwikkelingsstadia gecontroleerd op problemen binnen de software, met name die welke de algemene gebruikerservaring kunnen beïnvloeden.
Bij bètatesten ligt de nadruk echter op black-box testing zonder naar de innerlijke werking van de applicatie te kijken – alfatesten combineren dit met white-box testing om de code zelf te controleren.
Een ander belangrijk verschil is dat bètatesters doorgaans geen banden hebben met het ontwikkelingsproces of zelfs met het bedrijf.
Deze scheiding tussen tester en applicatie is noodzakelijk voor een onbevooroordeeld, extern perspectief. Bij bètatests wordt doorgaans gekeken naar stabiliteit, veiligheid en betrouwbaarheid, terwijl bij alfatests de nadruk meer ligt op algemene functionaliteit – maar er kunnen aanzienlijke raakvlakken zijn.
Iemand die nieuw is met de software kan zowel verwachte als onverwachte inputs gebruiken om te zien hoe deze de toepassing beïnvloeden; mogelijk kan deze daardoor breken. Hoewel bètatests meestal nog voor de officiële release van de software plaatsvinden, moeten de wijzigingen misschien wachten tot een day-one patch of zelfs weken na de lancering.
4. Wie is betrokken bij Beta Testing?
– Beta-testers
Zij zijn meestal niet verbonden met het bedrijf en hebben geen voorkennis van het product en hoe de interne code in elkaar steekt.
– Kwaliteitsgarantie leads
Zij bepalen de algemene QA-strategie en zijn verantwoordelijk voor de specifieke methoden en controles die het testteam gebruikt.
– Alfa-testers
Zij voeren hun controles uit voordat het bètatesten begint om te garanderen dat de interne systemen werken zoals bedoeld en klaar zijn voor toekomstige testers.
– Software ontwikkelaars
Zij gebruiken de informatie die bètatesters verstrekken om de problemen zo snel mogelijk te verhelpen – dit kan zelfs vóór de lancering zijn.
Voordelen van bètatesten
De voordelen van bètatesten bij het testen van software zijn onder meer:
1. weerspiegelt de gebruikerservaring
Beta-testers hebben geen diepgaande kennis van de software en kunnen persoonlijk onervaren zijn met codering – dit betekent dat zij beter het perspectief van een eindgebruiker vertegenwoordigen.
Beta-testers kunnen met het programma werken zoals klanten dat zouden doen, zodat de ontwikkelaars kunnen zien hoe goed hun applicatie de functies aan de gebruikers overbrengt. Dit is van cruciaal belang omdat de ontwikkelaars en het interne QA-personeel al vertrouwd zijn met de werking en de functionaliteit van deze toepassingen.
2. Verhoogt de testdekking
Betatests omvatten verschillende controles die interne teams gewoonlijk niet uitvoeren, waaronder tests die potentiële gebruikersinvoer onderzoeken. Elke nieuwe test die deel uitmaakt van de kwaliteitsborgingsstrategie van het bedrijf draagt bij tot de totale testdekking van elke toepassing. Dit percentage geeft aan hoe grondig het huidige testproces is en laat zien aan welke onderdelen meer aandacht kan worden besteed; een hoge testdekking is altijd het doel bij het betatesten van software.
3. Kosteneffectief
Hoewel het toevoegen van een nieuw type test aanzienlijk kan bijdragen aan de kosten van een project, vooral als er extern personeel moet worden ingehuurd, zijn bètatests zeer kosteneffectief.
De verhoogde dekking kan het team verderop in de keten zelfs veel geld besparen; IBM schat dat het oplossen van deze problemen na de release tot 15 X duurder is. Een responsieve bètateststrategie kan teams helpen de kosten voor het oplossen van bugs met gemak te verlagen.
4. Gediversifieerde apparaten
Bij bètatests kunnen de eigen apparaten van de tester worden gebruikt, zodat het team deze controles op een groter aantal machines kan uitvoeren. De toepassing kan bijvoorbeeld moeite hebben om te werken op bepaalde grafische kaarten of zonder voldoende geheugen, en bètatests kunnen deze problemen aan het licht brengen.
Afhankelijk van uw aanpak kunnen de bètatesters een extern platform gebruiken om deze tests uit te voeren en zelfs apparaten simuleren door middel van cross-browser tests.
Uitdagingen van bètatests
Beta tests komen ook met verschillende uitdagingen, waaronder:
1. Vereist specifieke vaardigheden
Hoewel het doel altijd is de ervaring van een gebruiker te simuleren, en coderingsvaardigheden van welke aard dan ook niet nodig zijn, moet het betatestteam toch over robuuste vaardigheden op het gebied van kwaliteitsborging beschikken.
Zij moeten elk onderdeel zuiver via black-box-methoden kunnen inspecteren en tegelijkertijd de benadering van een eindgebruiker belichamen. Dit evenwicht is een essentieel onderdeel van elke aanpak van bètatesten en vereist gewoonlijk een ervaren bètatester.
2. Beperkte tijd
Aangezien bètatests plaatsvinden wanneer het product in wezen gereed is, kunnen zelfs kleine vertragingen in het tijdschema gevolgen hebben voor de testers en hun vermogen om grondig te testen.
Hun controles kunnen zelfs doorlopen tot de release van het product, hoewel de ontwikkelaars eventuele kritieke wijzigingen daarna nog als patch kunnen doorvoeren. Dit kan de testers nog steeds onder druk zetten om de controles snel uit te voeren, wat hun nauwkeurigheid in het proces kan beperken.
3. Niet-systematische rapportage
De rapportageprocedures voor betatests zijn doorgaans minder grondig dan andere vormen van kwaliteitsborging, zodat de ontwikkelaars meer tijd kunnen nemen om op feedback te reageren. Het is mogelijk om dit te verzachten door gedetailleerde testgevallen of bètatestsoftware die automatisch een uitgebreid logboek kan genereren. De ontwikkelaars zijn ook niet aanwezig bij bètatests; dit kan een extra barrière vormen die van invloed is op hoe goed zij deze problemen aanpakken.
4. Algemene personeelsbehoeften
Het aantal betatesters dat een bedrijf nodig heeft, hangt vooral af van de omvang van een product – het is mogelijk dat ze verkeerd inschatten hoeveel testers nodig zijn voor de omvang van hun product. Dit kan leiden tot te veel testers, een aanzienlijk beslag op de middelen, of de testers kunnen moeite hebben om de onderdelen van deze software adequaat te bestrijken. Het kwaliteitsborgingsteam van het project zal de vereisten voor het bètatestpersoneel zorgvuldig moeten onderzoeken.
Doelstellingen van bètatests
De belangrijkste doelstellingen van bètatesten bij het testen van software zijn de volgende:
1. Aanpak van bugs
Vrijwel elke toepassing heeft problemen in de beginfase van de ontwikkeling, en bètatests maken een grotere dekking en het verhelpen van bugs mogelijk. De testers kunnen bijvoorbeeld gebruikersinputs emuleren of opzettelijke pogingen om de software te breken door de database te overweldigen, iets waar alfatesters misschien geen rekening mee houden.
Dit geeft het team meer vertrouwen in het product en de komende ontvangst ervan.
2. Verbetering van de gebruikerservaring
Betatests zijn vooral vanuit het oogpunt van de gebruiker – en laten zien hoe mensen zonder kennis van de software deze zouden benaderen. Als de testers bijvoorbeeld moeite hebben met de kernfuncties van een programma, moeten de ontwikkelaars misschien de interface stroomlijnen of betere tutorials implementeren.
De ontwikkelaars kunnen dan de nodige wijzigingen aanbrengen om het programma toegankelijk te maken voor alle gebruikers.
3. Eerlijke feedback krijgen
Bèta-testers kunnen schijnbeoordelingen samenstellen voor de software die zij testen, waardoor ontwikkelaars echte gebruikersmeningen kunnen krijgen; dit kan verder gaan dan de testcases.
Deze testers kunnen feedback geven die het product verbetert, zelfs als ze niet overeenkomen met een testcase. Hieruit blijkt ook hoe de beoogde doelgroep van het team op de toepassing zal reageren nadat deze is uitgebracht.
Specifiek… wat testen we in Beta Testing?
Dit zijn de specifieke aspecten van een applicatie waar bètatesters naar kijken:
1. Stabiliteit
Beta-testers kijken naar een toepassing om te bepalen hoe goed deze presteert op verschillende machines – wat ook inhoudt hoe gemakkelijk het is om de software te breken of een crash te vergemakkelijken.
Een toepassing die afhankelijk is van een database kan bijvoorbeeld in een “impasse” geraken als zij te veel verzoeken ontvangt; bètatests tonen aan hoeveel verzoeken zij aankan.
2. Betrouwbaarheid
Dit proces is erop gericht het aantal bugs in een toepassing te verminderen om deze betrouwbaarder te maken voor de gebruikers; betrouwbaarheidstests gaan over het beperken van de kans op falen.
De tester kan het programma bijvoorbeeld gedurende langere tijd gebruiken en een lijst maken van alle problemen die zij tegenkomen, zoals een visueel element dat niet correct wordt weergegeven.
3. Functionaliteit
Het vermogen van de software om de beoogde functies te leveren is een ander belangrijk onderdeel van bètatests. Betatesters controleren of elk onderdeel werkt zoals bedoeld en of alle functies intuïtief zijn.
Als de testers het bijvoorbeeld moeilijk vinden om gebruik te maken van het belangrijkste verkoopargument van de applicatie, moeten de ontwikkelaars dit onmiddellijk rechtzetten.
4. Beveiliging
Bij deze aanpak wordt ook geprobeerd de toepassing te breken, met name wat de beveiliging ervan betreft. Een beta-tester zou kunnen proberen een achterdeur te gebruiken om administratieve privileges te krijgen om bestaande kwetsbaarheden aan het licht te brengen. Ze kunnen zelfs de database en de encryptie ervan controleren, omdat deze privé-informatie kan bevatten waartoe geen enkele gebruiker toegang zou mogen hebben.
5. Receptie
Hoe het publiek reageert op een toepassing is een belangrijk onderdeel van het kwaliteitsborgingsproces – en helpt de ontwikkelaars te garanderen dat ze op het juiste spoor zitten. Bèta-testers geven hun eerlijke inzichten in het programma als een vorm van brede feedback, terwijl ze het team laten zien hoe het publiek de software waarschijnlijk zal ontvangen.
Soorten bètatests
Dit zijn de vijf belangrijkste soorten bètatests bij het testen van software:
1. Open beta testen
Open beta tests zijn volledig beschikbaar voor het publiek, waardoor een breder scala aan perspectieven mogelijk is. Dit zou een opt-in benadering kunnen zijn waarbij alle geïnteresseerde gebruikers zich op de website van het bedrijf kunnen aanmelden om beta-tester te worden.
In deze gevallen zijn de controles zelden veeleisend en kan het gaan om het indienen van bugrapporten naar aanleiding van fouten.
2. Gesloten beta testen
Gesloten tests zijn alleen toegankelijk voor besloten groepen, zoals de eigen selectie van het bedrijf, waardoor het team meer controle heeft over wie de aanvraag controleert. Ze kunnen voorrang geven aan bètatesters die hun doelgroep vormen, zodat ze kunnen zien hoe verschillende groepen mensen waarschijnlijk zouden reageren op de nuances van deze software.
3. Technische beta-tests
Technische bètatests bekijken specifieke onderdelen vanuit een technisch perspectief; hoewel ze bedoeld zijn om eindgebruikers te vertegenwoordigen, vereisen deze controles meer expertise. Dit is nodig om complexe bugs aan het licht te brengen die nog steeds de ervaring van de gebruiker kunnen beïnvloeden, maar waarvoor meer nodig is dan een vluchtige blik om ze te vinden; deze controles vereisen een diepere blik.
4. Gerichte beta-tests
Sommige onderdelen zijn gevoeliger voor problemen dan andere; de database bijvoorbeeld staat meestal in wisselwerking met veel van de functies van een applicatie, zodat fouten daarin het hele programma kunnen treffen. Bij gerichte bètatests worden specifieke onderdelen van de software en afzonderlijke functies onder de loep genomen om na te gaan of er geen belangrijke problemen zijn.
5. Bètatests na de release
Sommige betatests vinden plaats nadat de toepassing is vrijgegeven; dit helpt het team eventuele problemen op te sporen die de gebruikers nog niet hebben opgemerkt. Een post-release controle kan ook helpen bij het beta-testen van software-updates en nieuwe functies om ervoor te zorgen dat alle toevoegingen aan dezelfde normen voldoen als de rest van de applicatie.
Strategieën voor bètatests
Er zijn verschillende plannen en strategieën die u moet toepassen tijdens het bètatesten, zoals:
1. Tests goed plannen
Aangezien bètatesten meestal vlak voor de release van het product plaatsvinden, moeten testteams ervoor zorgen dat ze de kwaliteitsborgingsfase in evenwicht brengen om elke test die ze hopen uit te voeren te vergemakkelijken.
Zo moeten de ontwikkelaars de testers op de hoogte houden van eventuele vertragingen in het project en moeten de testers beoordelen welke controles het belangrijkst zijn om snel naderende deadlines op te vangen.
2. Focus op testdoelen
Elke teststrategie hangt af van een duidelijke focus die elke tester gemakkelijk kan motiveren. Het team kan bijvoorbeeld prioriteit geven aan een specifiek onderdeel waarvan de applicatie afhankelijk is.
De testers kunnen streven naar een bepaald dekkingspercentage of naar een applicatie die zij gedurende langere tijd vrij kunnen gebruiken zonder bugs tegen te komen.
3. Huur de juiste testers in
Bekwame testers weten hoe ze software moeten benaderen als een gebruiker en toch diep moeten kijken naar de programmaspecifieke ervaring, wat zelfs nodig kan zijn voor technische bètatests.
Toepassingen voor een breed publiek (zoals videospelletjes of mobiele apps) kunnen meer baat hebben bij open bèta’s die een afspiegeling zijn van diverse gebruikersbestanden van alle vaardigheidsniveaus.
4. Reageren op feedback van de testers
Het team moet snel reageren op bètatesters wanneer zij feedback geven; dit helpt om de betrokkenheid van de tester te behouden en laat de ontwikkelaars aan een bugfix werken. Snelheid is van het grootste belang in dit stadium van de ontwikkeling van het programma, aangezien de releasedatum meestal niet lang na het begin van het bètatestproces ligt.
Bètatestproces
Dit zijn de zes belangrijkste stappen voor het beta-testen van een toepassing:
1. Bereid de bètatest voor
Het team moet een solide aantal testers bedenken dat past bij het toepassingsgebied van de applicatie, aangezien voor sommige applicaties meer dan 300 bètatesters nodig zijn. Zij moeten ook bepalen welke soorten bètatests moeten worden gebruikt en hoe deze de alfatestfase kunnen aanvullen.
2. Rekruteer bètatesters
Nadat ze hun aanpak voor bètatests hebben bepaald, moet het kwaliteitsborgingsteam externe testers werven via de kanalen van hun voorkeur. Ze kunnen dit openlijk adverteren op hun sociale media of een testbedrijf inschakelen; ze moeten er ook voor zorgen dat ze voldoende wervingstijd begroten.
3. Laat het beta programma los
Zodra de toepassing en de testers klaar zijn om te beginnen, geeft het bedrijf de bètatoepassing vrij en verspreidt het uitnodigingen aan bètatesters. De testers controleren het programma via langdurige processen die gemakkelijk enkele weken kunnen duren en noteren eventuele problemen of relevante feedback.
4. Feedback van testers verzamelen
Nadat de controles zijn voltooid, geven de bètatesters hun mening over de software en gedetailleerde rapporten over de fouten die zij zijn tegengekomen. Het team zou ook met de betatesters kunnen spreken om meer details te krijgen over de problemen en hun mogelijke oorzaken.
5. De toepassing bijwerken
Met de informatie die deze controles opleveren, en de daaruit voortvloeiende feedback, kunnen de ontwikkelaars beginnen met het wijzigen van de toepassing en het herstellen van de ontdekte fouten. Sommige veranderingen moeten misschien wachten tot na de lancering voor een oplossing vanwege het strakke schema dat bètatests vaak met zich meebrengen.
6. Zo nodig opnieuw testen
Interne testers controleren gewoonlijk de toepassing na de fase van het verhelpen van bugs om ervoor te zorgen dat deze problemen niet langer aanwezig zijn. Het bedrijf kan opnieuw bètatesters inschakelen als het programma een belangrijke update ondergaat die waarschijnlijk van invloed zal zijn op de functionaliteit van het programma, met inbegrip van eventuele nieuwe functies.
Fasen van bètatests
Betatests volgen een meerfasenproces; de gebruikelijke fasen zijn:
1. Planning
In deze fase stelt het interne team een document op over de doelstellingen van hun algemene bètatestaanpak, inclusief de vraag of ze een open bèta willen.
De planningsfase vereist input van alle belanghebbenden; teamleiders en leidinggevenden moeten dezelfde doelstellingen hebben.
2. Aanwerving
De volgende fase omvat de selectie en het inwerken van testers; dit geeft testers de kans om een eerste begrip van de applicatie te ontwikkelen.
Dit moet beantwoorden aan de exacte vereisten van een project. Toepassingen die geschikt zijn voor elke leeftijd moeten bijvoorbeeld gebruik maken van testers uit verschillende leeftijdsgroepen om de bruikbaarheid te controleren.
3. Het testen van
De testfase omvat drie componenten – engagementbeheer, feedbackbeheer en distributie van resultaten. Deze processen omvatten het verzekeren van de betrokkenheid van de tester, het organiseren van de feedback van de tester en ervoor zorgen dat de ontwikkelaars de resultaten ontvangen. Betatests vinden doorgaans plaats in sprints van 1-2 weken, zodat er voldoende dekking en tijd is voor reparaties.
4. Wrap-Up
Nadat het testen is voltooid, sluiten de teams de testcyclus af en bereiden zij de vrijgave van het product voor. Dit kan ook het opstellen van een verslag na afloop omvatten.
Toelatingscriteria voor bètatests
De algemene toetredingscriteria voor bètatests zijn:
1. Geschikt testteam
Een adequaat team van bètatesters is wellicht het belangrijkste toetredingscriterium voor deze controles, omdat dit van invloed is op de manier waarop zij met de toepassing omgaan. Bij een betatest van een videogame bijvoorbeeld moeten alle facetten van het doelpubliek vertegenwoordigd zijn – inclusief amateurspelers en ervaren spelers.
2. Alfa-tests zijn voltooid
Betatests moeten beginnen nadat het interne team de alfatests heeft afgerond; dit brengt de meeste problemen met de software aan het licht. Er zijn echter nog enkele lacunes in de kwaliteitsborging die alleen met bètatests en een uitsluitend black-box-benadering adequaat kunnen worden aangepakt.
3. Een beta-klare applicatie
De applicatie zelf moet een werkende beta-versie hebben die volledig up-to-date is en alle functies bevat. Het moet een onafhankelijke testomgeving zijn waar eventuele fouten die de beta-tester tegenkomt geen invloed hebben op het algemene programma of de voortgang van andere testers.
4. Beta testen van software
Testers kunnen baat hebben bij een programma dat helpt bij hun bètatests; dit kan zelfs robotische procesautomatisering implementeren voor meer nauwkeurigheid in elke fase. Het interne team beslist voornamelijk welke toepassing de bètatesters gebruiken en moet zorgvuldig de meest compatibele optie kiezen.
Afsluitingscriteria voor bètatests
De criteria voor het beëindigen van bètatests omvatten:
1. Ontdekte problemen worden opgelost
Een belangrijke voorwaarde voor het afsluiten van de bètatestfase is dat de ontwikkelaars elk door de testers gesignaleerd probleem zo goed mogelijk oplossen. Zodra het team de problemen heeft vastgesteld en verholpen, kunnen de testers hun werk afmaken.
2. Samenvatting van de voltooide bètatest
Na afloop van hun controles stelden de betatesters samenvattingen op van hun tests en de problemen die zij daarbij tegenkwamen. Dit rapport dient als een nuttig hulpmiddel bij het testen van toekomstige versies van het product of soortgelijke software die het bedrijf maakt.
3. Afsluiting van de testfase
Het team moet de testfase formeel afsluiten nadat de bètatesters klaar zijn met hun controles; dit betekent dat de kwaliteitsborgingsfase voltooid is. Het aftekenen hiervan dient ook als een manier om ervoor te zorgen dat het team verder gaat met de release van het product.
4. Product klaar voor verzending
Veel projecten voltooien hun betatestfase door het product te verzenden, vooral omdat de toepassing op dit punt wellicht volledig is. Het is mogelijk dat bètatests plaatsvinden na de release – hoewel dit meestal alleen gebeurt als het project vertraging oploopt.
Soorten resultaten van bètatests
Betatests leveren verschillende belangrijke resultaten op, waaronder:
1. Testresultaten
Bètatests bieden testers en ontwikkelaars een aanzienlijke hoeveelheid gegevens over de vraag of het product klaar is om te worden uitgebracht. Als het kwaliteitsteam de specifieke controles heeft vastgesteld die de betatesters hebben gebruikt, zullen zij de resultaten vergelijken met de beoogde resultaten. Deze resultaten kunnen het slagingspercentage, de crashfrequentie en zelfs de bruikbaarheidsscore van het systeem omvatten.
2. Testlogboeken
Hoewel bètatesters doorgaans alleen vanuit een black-box perspectief naar projecten kijken, genereren hun acties toch gegevens in het interne logboek van het programma. Ontwikkelaars kunnen hiervan gebruik maken om de bestanden, paden en zelfs precieze regels code te isoleren die verantwoordelijk zijn voor eventuele problemen. Deze logs kunnen bijvoorbeeld laten zien of het systeem zwaar onder druk staat.
3. Testverslagen
Deze resultaten vormen uiteindelijk het grootste deel van een samenvatting van de bètatests, die deze combineert met de specifieke conclusies en gedachten van de tester over de toepassing. Als de bètatesters genoeg ervaring hebben, kunnen zij ideeën aandragen over hoe ontwikkelaars kunnen beginnen met het aanpakken van softwarefouten. Bètatestrapporten bevatten meestal een overzicht van de functionaliteit, betrouwbaarheid, veiligheid, stabiliteit en algemene feedback van de testers.
Gemeenschappelijke bètatestcriteria
Bijna elke bètatest genereert unieke statistieken, zoals:
1. Aantal mislukte tests
Als de toepassing geen controles doorstaat, is het nuttig voor testers om bij te houden met hoeveel tests het programma problemen zou hebben. Dit kan een getal zijn, maar ook een fractie of een percentage van het totale aantal tests.
2. Testdekkingspercentage
Hoe hoger de testdekking van een team, hoe meer vertrouwen ze kunnen hebben dat ze zoveel mogelijk fouten aan het licht brengen. Bèta-testers moeten zich concentreren op softwarecomponenten met een lagere relatieve dekking om ervoor te zorgen dat deze precies zo werken als de ontwikkelaars hebben bedoeld.
3. Klanttevredenheid
Bètatesters kunnen klanttevredenheidsscores (of CSAT-scores) geven – die de echte reactie van de tester op het product volgen, inclusief hun tevredenheidsniveau. Dit gebeurt meestal in de vorm van een schaal van 1 tot 5, waarbij een lagere score wijst op ontevredenheid, terwijl 5 volledige tevredenheid betekent.
4. Dichtheid van de beveiligingskwetsbaarheid
Bij het controleren van de mogelijkheid van veiligheidsproblemen konden bètatesters de totale dichtheid van kwetsbaarheden in het programma bijhouden. Dit geeft de testers en ontwikkelaars een duidelijk beeld van de algemene beveiliging van de applicatie, inclusief een blik op de meest prominente beveiligingsfouten in de software.
5. Net promotor score
Vergelijkbaar met klanttevredenheid, onderzoekt de net promoter score (of NPS) van het programma hoe echte groepen gebruikers waarschijnlijk zouden reageren op de toepassing. Dit gebeurt op een schaal van 10 punten, waarbij 9-10 staat voor “Promotors” en 7-8 voor “Passives” – en alles daaronder is een “Detractor”.
6. Piekreactietijd
De tijd die een database nodig heeft om informatie op te halen, en in het algemeen de tijd die een applicatie nodig heeft om een verzoek te voltooien, kunnen problemen veroorzaken. De Doherty-drempel suggereert dat een piektijd van meer dan 400 milliseconden gebruikers ervan kan weerhouden zich met de software bezig te houden.
Soorten fouten en bugs die bij bètatests worden ontdekt
Hier zijn enkele van de fouten die bètatests bij het testen van software kunnen helpen opsporen:
1. Storing
Een belangrijk probleem dat bètatests aan het licht kunnen brengen, is als een van de functies in geen enkele situatie werkt. Dit kan betrekking hebben op contexten waar andere testers niet aan denken, waardoor het van cruciaal belang is dat teams bètatests gebruiken om problemen op nieuwe manieren te vinden.
2. Kwetsbaarheid van de beveiliging
Betatests kunnen een aantal mogelijke beveiligingsfouten aan het licht brengen; het kan zelfs gaan om een administratieve achterdeur waartoe gebruikers toegang hebben. Deze controles zijn van het grootste belang om ervoor te zorgen dat de toepassing veilig is en bestand is tegen de kritische blik van de gebruiker.
3. Algemene crash
Elk aantal inputs kan leiden tot een crash – en bètatesters inspecteren zoveel mogelijk realistische gebruikersinputs om er zeker van te zijn dat er geen crash triggers zijn. Als het programma vastloopt wanneer de gebruiker een bepaalde actie uitvoert, moeten de ontwikkelaars dit verhelpen.
4. Apparaat incompatibiliteit
Betatests kijken naar een groter aantal apparaten dan andere kwaliteitscontrolestadia, waarbij gebruik wordt gemaakt van cross-browser tests. Deze tests laten zien hoe goed de applicatie presteert op verschillende machines, aangezien kleine verschillen in architectuur de prestaties van het programma aanzienlijk kunnen beïnvloeden.
5. Trage prestaties
Deze controles laten zien of er situaties of ingangen zijn die het programma drastisch vertragen, wat resulteert in een opmerkelijke vertraging voor de eindgebruiker. Dit kan ernstige gevolgen hebben voor de mate waarin de gebruiker plezier beleeft aan deze software, dus het is belangrijk dit te verhelpen.
Voorbeelden van bètatests
Hier zijn drie belangrijke voorbeelden van bètatests:
1. Android app
Android app beta testen houdt in dat het programma wordt uitgevoerd op een geschikt apparaat – mogelijk meerdere voor compatibiliteitstesten – en dat wordt gecontroleerd op opvallende fouten. Omdat deze apps zeer complex zijn, heeft het bedrijf misschien wel 300 bètatesters nodig.
Veel apps adverteren openlijk met beschikbare bètatests voor en na de lancering, waardoor het bedrijf een volledige dekking vanuit vele verschillende perspectieven kan garanderen. Deze tests kunnen gericht zijn op specifieke functies van deze mobiele app en hoe deze op elkaar inwerken.
2. Videogame
Videospellen ondergaan een langdurig bètatestproces vanwege hun inherente complexiteit; daarbij wordt elk facet van het spel bekeken, van de engine tot de prestaties en de grafische getrouwheid.
Deze kunnen uitsluitend openstaan voor mensen die het spel vooraf bestellen, of zelfs gewoon voor alle geïnteresseerde spelers, hoewel privé-bètatests ook nodig zijn. Voor multiplayerspellen geven open bèta’s ontwikkelaars de kans om hun netcode te controleren en te zien hoe goed die hoge spelersaantallen aankan.
3. Website
Een bedrijfswebsite – vooral een met e-commercefuncties – vereist ook grondige bètatests voordat het bedrijf hem voor het publiek lanceert. Bètatesters moeten elke pagina onderzoeken om er zeker van te zijn dat deze goed wordt weergegeven op verschillende apparaten en dat de meegeleverde webapps functioneren.
Voor winkelsites kunnen testers proberen een aankoop te doen en kijken of dit door het systeem komt. De betatesters moeten ook de functionaliteit van de site controleren in alle populaire internetbrowsers.
Handmatige of geautomatiseerde bètatests?
Automatisering kan de efficiëntie van elke teststrategie vergroten, het risico van menselijke fouten drastisch verminderen en bovendien veel sneller werken. Dit vergroot de dekking en de algemene betrouwbaarheid van de kwaliteitscontrole van het project – meestal met behulp van een toepassing van derden.
Het is belangrijk voor teams om elk mogelijk platform te onderzoeken dat hun tests zou kunnen automatiseren; ze hebben elk verschillende functies die wellicht beter geschikt zijn voor specifieke soorten software. Deze aanpak is echter over het algemeen beperkt wat het menselijke element betreft; de meeste bètatests gaan uit van het perspectief van de gebruiker.
Er zijn manieren waarop automatisering deze problemen kan omzeilen; computervisie helpt automatiseringssoftware bijvoorbeeld om problemen vanuit een menselijk gezichtspunt te bekijken. Hyperautomatisering kan teams ook helpen hun teststrategie zodanig te kalibreren dat automatisering waar nodig op intelligente wijze wordt toegepast zonder dat er te veel gebruik van wordt gemaakt.
In beide gevallen hangt de aanpak van het team (en het uiteindelijke succes ervan) af van het programma dat zij implementeren en de kenmerken ervan. Voor dit proces zijn nog steeds bètatesters nodig en de leiders van kwaliteitsborging moeten hun algemene strategie doorlichten om te zien welke controles baat hebben bij automatisering en welke prioriteit moeten geven aan menselijke testers.
Beste praktijken voor bètatests
Hier zijn enkele van de beste praktijken die betatestteams zouden moeten toepassen:
1. Overweeg de klant
De klantervaring staat centraal in elke bètatest; de controles die dit team instelt moeten dit waar mogelijk weerspiegelen. De testers moeten bijvoorbeeld de interface onderzoeken en nagaan hoe intuïtief deze zou zijn voor ervaren gebruikers in die sector.
2. Controleer buiten de doelgroep
Geen enkel product of toepassing heeft alleen gebruikers uit de doelgroep en dit kan de eerste keer zijn dat iemand een dergelijk programma gebruikt. Betatesters benaderen bijvoorbeeld een videogame alsof ze er nog nooit een hebben gespeeld, om er zeker van te zijn dat het gebruiksvriendelijk is.
3. Diverse reeks testers
In dezelfde lijn is het belangrijk om programma’s te controleren met testers met verschillende achtergronden, omdat het team zo een volledig beeld krijgt van hoe klanten zullen reageren. Verschillen in ervaring kunnen er ook toe leiden dat de bètatesters de software op verschillende manieren onderzoeken.
4. Constante communicatie aanmoedigen
Er kunnen informatiesilo’s ontstaan tussen testers en ontwikkelaars – vooral als de eersten van buiten het bedrijf komen. Dit betekent dat de kwaliteitsbewakers de communicatie tussen deze twee teams moeten vergemakkelijken om ervoor te zorgen dat de ontwikkelaars de informatie krijgen die ze nodig hebben om bugfixes uit te voeren.
5. Kies zorgvuldig de teststrategie
Sommige producten hebben meer baat bij een open bèta die in korte tijd uitgebreide feedback genereert, maar er zijn veel toepassingen die besloten testen vereisen. De teams moeten deze software onderzoeken en bepalen welke aanpak het beste past.
6. Stimulansen aanbieden
Onbetaalde betatesters hebben een soort beloning nodig voor hun diensten – en vroege toegang tot het programma is misschien niet voldoende. Ze kunnen een naam krijgen in de credits van de software of een andere vorm van geschenk dat hen aanmoedigt om zo goed mogelijk werk te leveren.
Wat heb je nodig om Beta Testing te starten?
Er zijn verschillende belangrijke voorwaarden voordat het bètatesten kan beginnen, waaronder:
1. Uitgebreide teststrategie
Hoewel betatesten relatief vrij is, vooral voor een open bèta, is een robuust plan meestal toch noodzakelijk om ervoor te zorgen dat elk onderdeel voldoende aandacht krijgt van de testers. Het kwaliteitsborgingsteam moet weten wat het project vereist, zoals de specifieke bètacontroles die het wil uitvoeren.
Als het programma bijvoorbeeld onderdelen heeft die meer aandacht vereisen, moet de strategie van het team daarop zijn afgestemd.
2. Gemotiveerde testers
Het team heeft ook testers nodig die voldoende gemotiveerd zijn om te helpen bij het bètaproces. Afhankelijk van de specifieke controles kan het bedrijf baat hebben bij testers die zeer bedreven zijn in kwaliteitsborging en nauwkeurig kunnen beoordelen hoe hun handelingen deze toepassing beïnvloeden.
De teamleiders moeten vertrouwen hebben in hun keuze van testers, onder meer of zij het volledige spectrum van de doelgroep van het product kunnen weerspiegelen.
3. Beta testen van software
Testinstrumenten, ook die met automatiseringsfuncties, hebben een plaats in bijna elk kwaliteitsborgingsplan; zelfs bètatests, die meestal op menselijke invalshoeken steunen. Dit kan het team helpen robotische procesautomatisering te implementeren – dit gebruikt software robots om verschillende testtaken uit te voeren zonder de hulp van een menselijke bètatester. Welk programma zij gebruiken hangt af van de specifieke testbehoeften van het huidige project.
4. Beta programma
Aangezien het betatesten begint nadat het team de alfatests heeft afgerond, moeten zij werken met het meest actuele programma; dit moet bijna volledig zijn. Deze toepassing moet volledig gescheiden zijn om er zeker van te zijn dat zij de vele mogelijke manieren waarop een beta-tester haar zou kunnen breken, kan doorstaan zonder de echte software te beschadigen. In veel gevallen zal het bètaprogramma weinig problemen kennen dankzij uitgebreide alfatests.
7 fouten en valkuilen bij het uitvoeren van bètatests
Bij elke teststrategie zijn er genoeg fouten die testers kunnen maken. Hier zijn zeven fouten die bètatesters moeten vermijden:
1. Inflexibele planning
Vertragingen komen bij elk softwareproject voor en het testteam moet daar in elke fase rekening mee houden. Bètatesten gebeuren dicht bij de release, zodat ze kunnen lijden als er wijzigingen zijn in het tijdschema van het product. De testers kunnen moeite hebben om hun controles af te ronden door deze vertragingen.
2. Ongemotiveerde testers
Vooral open bètatests kunnen moeite hebben om hun testers aan te moedigen bugs te melden die ze vinden – in sommige gevallen zouden ze het kunnen zien als een gratis proefversie van de software. Het team moet stimulansen bieden die communicatie en uitgebreide rapportage bevorderen, anders zullen de testers misschien geen problemen signaleren.
3. Beperkte vertegenwoordiging van het publiek
Aangezien bètatests doorgaans de gebruikerservaring simuleren, helpt het dat de testers ongeveer de doelgroep van de applicatie weerspiegelen. Daartoe kan het belangrijk zijn de bètatesters te informeren over de mensen die het product zouden gebruiken; andere gezichtspunten kunnen er echter toe bijdragen dat de software gebruiksvriendelijk is.
4. Beperkte apparaten
Cross-browser tests en het verkennen van een reeks apparaten is essentieel om ervoor te zorgen dat de applicatie bruikbaar is voor zoveel mogelijk mensen. Dit is meer prominent tijdens de bètatestfase; het team moet ervoor zorgen dat de controles altijd een breed scala van potentiële apparaten vertegenwoordigen.
5. Niet genoeg testers
Het aantal noodzakelijke betatesters varieert per project, maar een verkeerde inschatting kan ernstige problemen veroorzaken. Zo kunnen te veel testers een groot beslag leggen op de middelen, ook op het geld.
Anderzijds kan een onvoldoende aantal testers moeite hebben om een sterke testdekking te garanderen voor elk onderdeel van de applicatie.
6. Geen testplan
De bètatestfase slaagt zelden wanneer testers de software gewoon gebruiken en vage feedback geven. Het kwaliteitsborgingsteam moet uitgebreide plannen opstellen waarin de onderdelen en specifieke controles gedetailleerd worden beschreven.
Voor een open bèta moeten testers een duidelijke manier hebben om problemen die ze tegenkomen te melden.
7. Ondoeltreffend testinstrument
Testteams kunnen niet zomaar de eerste of goedkoopste testtool implementeren die ze vinden. In plaats daarvan moeten zij een optie zoeken die past bij hun project en de precieze behoeften ervan. Door deze tijd te nemen kunnen ernstige problemen bij het testen op lange termijn worden voorkomen, terwijl de testers ook beter gebruik kunnen maken van de functies van een testinstrument.
5 beste bètatestprogramma’s
Hier zijn de vijf meest effectieve betaalde of gratis beta testing software tools:
1. ZAPTEST FREE & ENTERPRISE-edities
ZAPTEST biedt zowel gratis als betaalde tools voor bètatests die bedrijven in hun hele kwaliteitsborgingsfase helpen, ongeacht het budget.
ZAPTEST biedt grondige testautomatisering voor verschillende browsers, apparaten, apps en platforms, waardoor bètatesters hun programma’s op een dieper niveau kunnen controleren. Terwijl de gratis versie veel nuttige functies heeft, omvat de Enterprise-versie een toegewijde ZAP-expert die samenwerkt met het team van de klant, ultramoderne RPA-functionaliteit zonder extra kosten en een onbeperkt aantal licenties.
2. Instabug
Instabug helpt bètatesters bij het controleren van een reeks mobiele apps op alle belangrijke besturingssystemen en biedt daarbij volledige crashanalyses en gebruikersinvoerregistraties. Deze betaalde tool maakt het gemakkelijker voor testers om bugrapporten te sturen terwijl ze het programma controleren.
Gebruikers melden echter dat het platform relatief duur is en dat deze software beperkte functionaliteit heeft voor webapps en andere programmatypes, waardoor het alleen nuttig is in bepaalde contexten.
3. BrowserStack
BrowserStack kan meer dan 3.000 apparaten simuleren voor zowel alfa- als bètatests, wat zorgt voor een volledig complementair testproces. Het platform bevat ook gedetailleerde logboekfuncties waarmee testers de hoofdoorzaak van problemen kunnen vaststellen en deze zo snel mogelijk aan ontwikkelaars kunnen doorgeven.
Deze oplossing is het meest effectief met web- of mobiele apps en heeft beperkte toepassingen voor andere software – het kan ook een moeilijk platform zijn voor beginnende testers om te leren.
4. TestFairy
TestFairy is gespecialiseerd in mobiele apps met een sterke focus op Android beta testing en is in staat om tester acties te registreren (inclusief hun specifieke input) om het repliceren van hun ontdekkingen veel gemakkelijker te maken. Iedereen die bij de ontwikkeling betrokken is, kan de resulterende video’s bekijken en gebruiken voor zijn of haar verbeteringen.
De prijs en het beperkte aantal compatibele apparaten zijn echter opnieuw mogelijke problemen waarmee gebruikers rekening moeten houden wanneer zij een testhulpmiddel kiezen.
5. TestFlight
TestFlight is een programma van Apple dat speciaal is ontworpen voor het testen van iOS-apps. Dit maakt het bijzonder beperkt voor andere programma’s, waaronder verschillende soorten mobiele apps.
Met TestFlight kunnen app-ontwikkelaars gemakkelijk nieuwe versies van het programma distribueren naar testers en het heeft een eenvoudig installatieproces. Hoewel dit platform heel nuttig is voor iOS app-ontwikkelaars, kan het zelfs in deze context alleen iOS 8 en verder ondersteunen.
Checklist, tips en trucs voor bètatests
Hier volgen enkele aanvullende tips om bij het testen van software optimaal gebruik te maken van bètatests:
1. Documentatie gemakkelijker maken
Hoe eenvoudiger het is voor bètatesters (van welke aard ook) om de problemen die zij tegenkomen te melden, hoe nauwkeuriger en efficiënter het totale testproces is. Het is belangrijk dat het testteam de gebruikelijke kanalen voor feedbackrapportage verfijnt om deze controles soepeler te laten verlopen.
2. Blijven itereren op bètatests
Elke bètatest die een bedrijf uitvoert, moet aangeven hoe zij toekomstige controles verfijnen om hun gebruikelijke projecten aan te passen. Deze ervaringen verbeteren het bètatestproces en zorgen ervoor dat ze programma’s altijd onderzoeken op een manier die past bij het bedrijf en zijn unieke eisen.
3. Maak spaarzaam gebruik van automatisering
Hoewel tactieken als robotische procesautomatisering een aanzienlijk positief effect kunnen hebben op de bètatests van het team, moet het team dit verstandig toepassen. Het automatiseren van elke controle kan de nauwkeurigheid ervan beperken, vooral omdat veel bètatests afhankelijk zijn van de specifieke ervaring van menselijke eindgebruikers.
4. Laat testers een NDA tekenen
Privé-bètatesters kunnen naar gevoelige software kijken en het is voor organisaties en ontwikkelaars van cruciaal belang om hun belangen te beschermen. Daarom kan het bedrijf testers een geheimhoudingsverklaring laten ondertekenen, zodat zij geen geheime informatie over het programma vrijgeven.
5. Ondersteuning van betatesters
Het bedrijf en zijn interne kwaliteitsmedewerkers moeten beschikbaar zijn om te helpen bij de bètatestfase – deze steun kan van onschatbare waarde zijn. De testers kunnen bijvoorbeeld hulp nodig hebben bij het bedienen van het programma, of ze kunnen algemene vragen over de toepassing willen stellen.
6. De vrijheid van de tester aanmoedigen
Hoewel deze ondersteuning soms essentieel is om grondige betatests te garanderen, is het ook essentieel dat het bedrijf de testers hun controles in hun eigen tempo laat uitvoeren. De tester moet eerlijke feedback kunnen geven; dat kan alleen met volledige gebruikersvrijheid.
Conclusie
Betatests zijn noodzakelijk voor bijna elk softwareproject, omdat ze rekening houden met gebruikers en hun unieke ervaringen met de software. Bedrijven kunnen ervoor kiezen om automatisering te integreren in hun plannen voor bètatests – maar ze moeten in elk stadium rekening houden met het menselijk perspectief. De bijzonderheden van de strategie van een bedrijf hangen af van het project en de aanpak die het best past bij de vereisten, met inbegrip van het vaardigheidsniveau van elke tester.
Ongeacht het huidige budget van het testteam, kan ZAPTEST Free of Enterprise intuïtieve bètacontroles op een groot aantal apparaten mogelijk maken, waardoor hoge normen tijdens het hele kwaliteitsborgingsproces worden gewaarborgd.
