O teste negativo em testes de software é uma técnica que verifica como a sua aplicação reage a comportamentos inesperados ou a dados inválidos. Este tipo de teste pode ajudar as equipas de Garantia da Qualidade a melhorar a robustez e a estabilidade do seu software, procurando excepções que causam congelamentos, falhas ou outros resultados indesejados.
Neste artigo, vamos explorar o que é o teste negativo de software, por que é importante e algumas das diferentes abordagens, técnicas e ferramentas que podem ser usadas para essa técnica.
O que é um teste de software negativo?
O teste negativo é uma técnica de teste de software que alimenta intencionalmente um sistema com entradas inválidas ou dados inesperados para ver como ele lida com esses cenários. Também conhecida como teste de falhas ou teste do caminho do erro, esta abordagem simula a gama diversificada de cenários reais com que a sua aplicação se deparará, como a introdução de datas ou caracteres inválidos pelos utilizadores ou a utilização de determinadas funcionalidades de uma forma que nunca pretendeu.
A maioria dos tipos de testes utiliza dados válidos para testar uma aplicação. No entanto, os testes negativos adoptam uma abordagem diferente, testando os limites e para além das entradas típicas e verificando como a aplicação trata as excepções.
É importante testar se a sua aplicação funciona como pretendido. Mas, por outro lado, compreender o que acontece quando os utilizadores saem da reserva também é vital, especialmente se estas utilizações não intencionais causarem falhas, congelamentos ou outros defeitos.
Diferença entre teste positivo e negativo
testes em testes de software
Como já foi referido, os testes negativos utilizam dados inesperados ou inválidos para verificar o comportamento de um sistema. Em contrapartida, os testes positivos utilizam dados esperados ou válidos para verificar se o sistema funciona como esperado.
Por outras palavras:
- Os testes positivos ajudam-no a perceber se a sua aplicação funciona como planeado
- Os testes negativos determinam se a sua aplicação pode lidar com eventos inesperados
Tanto os testes positivos como os negativos nos testes de software são necessários se quiser testar a sua aplicação com rigor.
Porque é que os testes negativos de software são vitais?
Quando os programadores criam software, têm uma ideia clara de como esperam que o utilizador utilize o software. No entanto, os utilizadores nem sempre cumprem as regras. Muitas vezes, tentam clicar em botões que não existem, introduzem letras em campos de números ou tentam introduzir dados que não são esperados.
Os testes negativos têm como objetivo ter em conta estes casos extremos que não podem ser descobertos por técnicas de teste positivas como
unidade
,
sistema
ou
testes de integração
. É necessário um pensamento não convencional para encontrar “bolas curvas” para lançar no sistema. No entanto, o resultado líquido é uma aplicação mais estável e robusta.
Qual é o objetivo dos testes negativos
em testes de software?
Os testes negativos têm objectivos semelhantes aos de outros tipos de testes de software. Nomeadamente, para descobrir bugs, defeitos e vulnerabilidades numa aplicação. No entanto, desempenha um papel especial na deteção de defeitos que não podem ser descobertos através da utilização de dados válidos. Eis algumas das razões para adotar uma abordagem de ensaio negativo.
1. Expor os defeitos
O objetivo central dos testes negativos nos testes de software é descobrir defeitos que resultam de dados inválidos ou de entradas inesperadas. Permite aos testadores adotar uma abordagem mais proactiva à deteção de erros e garantir que o software corresponde às expectativas.
2. Segurança
Entradas inesperadas ou dados inválidos podem expor vulnerabilidades de segurança. O teste e a resolução destes casos extremos conduzem a uma aplicação mais segura e robusta, reduzindo a possibilidade de ataques maliciosos, falhas de injeção ou tentativas de acesso não autorizado.
3. Tratamento de erros
Os testes negativos são úteis para validar o tratamento de erros. Não se trata apenas de garantir que o sistema se mantém estável depois de encontrar entradas ou dados inesperados, mas também da forma como responde a estes eventos, por exemplo, produzindo mensagens de erro para garantir que o utilizador final sabe que os dados são inválidos.
4. Melhorar a cobertura dos testes
Os testes positivos e negativos nos testes de software são extremamente complementares. Ambos abrangem diferentes elementos da introdução de dados, o que significa que os testes são mais abrangentes.
5. Melhor experiência do utilizador
Os testes negativos ajudam a descobrir a origem de mensagens de erro, falhas e outros comportamentos inesperados que podem afetar negativamente a experiência do utilizador.
Diferença entre positivo e negativo
testes em engenharia de software
Como já foi referido, os testes negativos enviam dados inesperados ou inválidos para verificar o comportamento de um sistema. Os testes positivos, por outro lado, enviam dados esperados ou válidos para verificar se o sistema funciona como esperado.
A diferença entre testes positivos e negativos inclui:
1. Objectivos:
Os testes positivos verificam se o software funciona como pretendido; os testes negativos procuram compreender o que acontece em cenários não pretendidos.
2. Dados:
Os testes positivos utilizam dados válidos e os testes negativos utilizam entradas inválidas, valores extremos e formatos inesperados.
3. Concentração:
Os testes positivos centram-se em cenários de sucesso, enquanto os testes negativos se preocupam mais com cenários de insucesso.
Diferentes tipos de testes negativos
O teste negativo é um conceito que abrange várias abordagens diferentes para validar a qualidade e a integridade de uma aplicação. Aqui estão sete tipos de testes negativos que precisa de conhecer.
#1. Teste de valor limite
O teste de valor-limite procura testar o software com entradas que se encontram nos limites ou extremidades do intervalo de entrada. Testa os valores máximos e mínimos esperados, mas também testa para além destes valores.
Exemplo: Um campo de entrada aceita números entre 1-9. Um teste de valor limite introduzirá 1 e 9, mas também testará 0 e 10.
#2. Teste do valor de entrada
O teste do valor de entrada determina como o sistema responderá a entradas inesperadas ou inválidas. Algumas das entradas que irá testar incluem:
- Tipos de dados incorrectos
- Valores fora do intervalo
- Caracteres especiais
- Campos vazios.
Exemplo: Uma caixa de entrada requer apenas um número, pelo que o teste introduzirá uma letra e verá como o sistema responde.
#3. Teste de carga
Testes de carga
ajudam os testadores a avaliar a forma como o sistema responderá sob forte stress ou cargas, tais como grandes conjuntos de dados ou elevados volumes de tráfego.
As ferramentas de automatização de testes
podem simular estas condições extremas para compreender como o sistema reage sob pressão.
Exemplo: O testador simulará milhares de utilizadores simultâneos a aceder a um sítio Web.
#4. Testes de exceção
Este tipo de teste explora a forma como o sistema responderá a eventos ou erros excepcionais. Alguns dos testes incluem
- Simulação de falhas do sistema
- Falhas na rede
- Erros na base de dados
- Problemas de espaço em disco
- Ficheiros em falta.
Exemplo: O teste pode explorar o que acontece quando um utilizador está a descarregar um ficheiro da aplicação e a Internet é cortada.
#5. Testes de segurança
Os testes de segurança utilizam uma abordagem de testes negativos para destacar e compreender as vulnerabilidades do software que podem ser expostas por entradas inválidas ou inesperadas. Esta abordagem testa ataques comuns, tais como:
- Injeção de SQL
- Scripting entre sítios (XSS)
- Transbordamentos de tampão.
Exemplo: Um teste de segurança pode tentar injetar código malicioso num campo de entrada do utilizador.
#6. Teste da interface do utilizador
Este tipo de teste centra-se nos erros que ocorrem quando o utilizador interage com o software. Alguns dos aspectos que tentará determinar incluem:
- Respostas inesperadas às interacções dos utilizadores
- Mensagens de erro incorrectas
- Problemas de navegação
Exemplo: O teste irá explorar o que acontece quando determinadas acções são executadas fora de sequência.
#7. Teste de integridade dos dados
Os testes de integridade dos dados garantem que os dados permanecem exactos e consistentes numa variedade de operações dentro da aplicação. Algumas das coisas que estão a ser testadas incluem:
- Potenciais corrupções de dados
- Cenários de perda de dados
- Modificações inadvertidas de dados
Exemplo: O teste verificará se os dados permanecem inalterados após uma transmissão.
Como pode ver, existem muitas abordagens diferentes para os testes negativos. O que todos têm em comum é a utilização de entradas inesperadas ou dados inválidos para ver como a aplicação funciona em condições atípicas.
Vantagens dos testes negativos
Os testes negativos consistem em compreender o funcionamento da sua aplicação quando surgem situações inesperadas. Eis algumas das principais vantagens da utilização desta abordagem.
- Ajuda-o a compreender o impacto que entradas inesperadas ou dados inválidos terão na sua aplicação. Será que se vai despenhar? Cuspir uma mensagem de erro incorrecta?
- Os testes negativos fazem parte de uma abordagem responsável da garantia de qualidade, uma vez que procuram identificar os pontos fracos do sistema
- Os testes negativos põem o software à prova, testando a sua reação a cenários imprevistos ou não antecipados que este irá encontrar na natureza
- Mais uma vez, os testes negativos são uma componente essencial de uma abordagem completa à segurança, porque destacam potenciais vectores de ataque que os ciber-atacantes podem aproveitar.
Desvantagens dos testes negativos
Os testes negativos oferecem uma série de benefícios, mas também têm alguns inconvenientes que devem ser ultrapassados.
- A realização de testes negativos exaustivos pode exigir hardware e software adicionais, o que pode aumentar os custos dos testes. Para as equipas que operam com um orçamento apertado, isto pode ser desvantajoso.
- Os testes negativos podem ser bastante demorados, porque exigem a criação de muitos casos de teste para cobrir as várias permutações de entradas que o software irá enfrentar na produção
- Há limites para o número de situações imprevisíveis que se podem cobrir com testes negativos. De facto, algumas situações podem ser tão inesperadas que os testadores não as podem considerar.
- A automatização de casos de teste negativos é um desafio. No entanto, com o software correto, como o ZAPTEST, o processo é muito mais fácil de gerir.
Desafios dos testes negativos
Os testes negativos são cruciais se quiser construir um software robusto e fiável, capaz de suportar o stress e as tensões da interação com o utilizador. No entanto, existem alguns desafios à implementação da abordagem que devem ser tidos em conta.
Vamos analisar alguns dos desafios mais persistentes.
1. Identificação de cenários negativos em testes de software
Cobertura suficiente:
Um dos maiores desafios dos testes negativos é garantir que se cobrem cenários inesperados suficientes. Existem muitos cenários negativos e permutações, pelo que considerá-los a todos requer uma abordagem criativa para imaginar como os seus utilizadores irão interagir com o software.
Definição de prioridades:
Com tantos cenários negativos potenciais para analisar ao microscópio, os testadores nem sempre sabem por onde começar. Alguns critérios sólidos para avaliar o que deve ser prioritário incluem a previsão:
- Situações com elevada probabilidade de ocorrência de defeitos
- A gravidade do resultado dos defeitos.
2. Conceção de casos de teste negativos adequados
Validação de entrada:
A conceção de casos de teste negativos sólidos requer uma compreensão bastante abrangente do comportamento, da arquitetura e das limitações do seu sistema. O teste do software requer a utilização de dados e entradas cuidadosamente considerados. Embora uma abordagem aleatória possa ajudar a revelar alguns defeitos, não é nada em comparação com uma abordagem mais precisa e sistemática dos testes negativos.
Diversidade de dados:
Dependendo das particularidades do seu sistema, poderá ser necessário efetuar testes com um conjunto de dados bastante diversificado. De facto, existem muitos formatos de dados diferentes, como números, texto, datas, etc., cada um dos quais pode ser aceite pela sua aplicação. O desafio aqui consiste em conceber casos de teste que possam ter em conta cada formato e, em particular, cada variação de dados inválidos. Esta situação pode ser bastante morosa para as equipas de testes.
3. Eficiência e automatização dos testes
Demora muito tempo:
Os testes positivos têm como objetivo validar o software em relação aos resultados esperados. Os testes negativos, por outro lado, têm de se aprofundar no inesperado e explorar cenários potenciais. Percorrer um território desconhecido leva mais tempo. Consequentemente, se pretender obter os resultados abrangentes dos testes negativos, tem de estar preparado para investir algumas horas extra.
Complexidade da automatização:
Os testes negativos podem exigir muito tempo e recursos. Como tal, é um trabalho perfeito para a automatização de testes de software. No entanto, há algumas complexidades que têm de ser ultrapassadas. Por exemplo, a conceção de casos de teste que definam os resultados esperados para entradas inesperadas exige alguma experiência e conhecimentos. Além disso, a sua estrutura existente para testes de automação pode não suportar os dados inválidos que pretende enviar para a sua aplicação, acrescentando uma camada adicional de complexidade.
4. Avaliação dos resultados
Falsos positivos:
Calibrar os testes para garantir um equilíbrio satisfatório entre exatidão e abrangência é uma questão familiar para os testadores negativos. Em algumas situações, um tratamento de erros demasiado sensível confunde falsamente entradas válidas com entradas negativas, levando a que se perca tempo com problemas que não são relevantes.
Resultados ambíguos:
Quando um sistema recebe uma entrada inválida, pode resultar em falhas, erros ou congelamentos. Em muitos casos, este é um sinal claro de um erro. No entanto, noutros casos, é a prova de um caso extremo não tratado que os programadores não consideraram. Distinguir entre estas situações discretas é importante, mas investigar a verdadeira causa é moroso.
Gestão de dados:
Os testes negativos requerem uma quantidade considerável de dados. Esta informação sobre os testes deve ser gerada e actualizada. Em cenários de desenvolvimento com prazos apertados, este é um trabalho extra que deve ser considerado.
5. Questões organizacionais
Falta de experiência em testes negativos:
Embora os testes negativos sejam populares, muitos testadores não possuem as competências e os conhecimentos necessários para implementar este tipo de testes de uma forma abrangente. A conceção de certos casos de teste negativos é menos intuitiva do que o seu equivalente em casos de teste positivos. Além disso, a implementação da automatização dos testes também pode ser um desafio sem os conhecimentos adequados.
Pressão comercial:
As partes interessadas, os testadores e a administração devem compreender o papel fundamental que os testes negativos desempenham no desenvolvimento de aplicações robustas. O facto de não se reconhecer a sua importância pode levar a pressões no sentido de se concentrar nos testes positivos em detrimento dos testes negativos.
É evidente que existem vários desafios para as equipas que pretendem tirar partido das vantagens dos testes negativos. No entanto, com a abordagem correcta e as ferramentas de teste de software adequadas, é possível ultrapassar estes problemas e criar software que vai além das expectativas dos utilizadores.
Como escrever casos de teste negativos para testes de software
A redação de casos de testes negativos de software requer alguma experiência e pensamento criativo. Segue-se um guia passo-a-passo para o ajudar a criar estes casos de teste críticos.
#1. Estabelecer os seus objectivos
Antes de escrever os casos de testes negativos de software, é necessário compreender por que razão se pretende efetuar testes negativos. Nem todas as aplicações beneficiam de testes negativos.
Por isso, é preciso perceber o que se pretende alcançar. Os testes negativos destinam-se a detetar erros e falhas que resultam de cenários ou condições inesperados de interação com o utilizador.
#2. Descrever os potenciais cenários negativos
Em seguida, é necessário ter em conta o tipo de cenários negativos que podem ocorrer quando os utilizadores interagem com o seu software. A investigação durante esta fase é crucial. Algumas áreas que deve explorar são:
- Requisitos do sistema
- Casos de utilização típicos
- Características e funções da aplicação
Analise estas situações e faça uma lista de cenários em que a aplicação pode não funcionar como pretendido.
Em seguida, considere cenários críticos de validação de entrada. Normalmente, isto envolve formulários de introdução de dados, campos de início de sessão, etc.
Por fim, considere a miríade de formas não convencionais como os utilizadores podem interagir com o seu software e os eventos inesperados que podem produzir resultados adversos, como desconexões de rede, encerramentos abruptos do sistema, transferências maciças de dados, etc.
Depois de ter documentado o maior número possível de cenários, é altura de determinar os resultados esperados destes cenários inesperados.
#3. Descrever os resultados esperados
Cada caso de teste deve ter um resultado esperado, e um caso de teste negativo não é diferente. A melhor prática neste caso é escrever cada cenário negativo e determinar qual deve ser o resultado.
Alguns dos resultados potenciais podem incluir:
- Mensagens de erro exactas e informativas
- Redireccionamentos adequados
- Tratamento gracioso do sistema, por exemplo, evitando congelamentos ou falhas do sistema.
#4. Selecionar entradas para testar
Agora, é altura de ver quais as entradas que precisa de testar. Estas entradas devem ser as que têm maior probabilidade de causar um erro ou outros comportamentos negativos.
Algumas entradas que deve incluir são:
- Valores fora do intervalo (valores negativos num campo de idade, etc.)
- Dados inválidos (letras num campo numérico, etc.)
- Caracteres ou símbolos inesperados
- Caracteres especiais
- Dados em falta
#5. Escreva os seus casos de teste
Depois de reunir todos os cenários, é altura de escrever os casos de teste. Agora, com os testes negativos, há um número quase ilimitado de casos de teste que podem ser escritos. Afinal de contas, este tipo de teste tem como objetivo descobrir o que acontece quando as pessoas utilizam o software de formas que não pretendia. No entanto, os prazos impõem que se reduza a lista de casos potenciais às situações mais susceptíveis de causar problemas.
Como sempre, escreva os seus casos de teste numa linguagem clara, concisa e objetiva. Aqui não há lugar para ambiguidades.
Eis um bom formato para os seus casos de teste negativos.
- Utilizar um ID de caso de teste
- Descrever exatamente o que está a ser testado
- Registar quaisquer condições prévias para o teste negativo
- Descrever o conjunto de etapas envolvidas
- Estabelecer resultados claros e objectivos
- Anote o resultado efetivo do seu teste
#6. Agendar o teste
Agora, é necessário agendar os testes. Mais uma vez, é importante dar prioridade aos cenários que têm os resultados adversos mais graves, como acidentes, ou onde é mais provável que sejam descobertos problemas.
Exemplo de caso de teste negativo
Eis um exemplo de um caso de teste negativo.
ID do caso de teste: TC001
Descrição: Verificar se é apresentada uma mensagem de erro se o utilizador introduzir um endereço de correio eletrónico inválido
Condições prévias: O utilizador deve estar na página de início de sessão da aplicação
Passos: 1. Introduzir um endereço de correio eletrónico inválido. 2. Prima “Iniciar sessão”
Resultado esperado: Quando o utilizador carrega em “Iniciar sessão”, surge uma mensagem de erro que diz “endereço de correio eletrónico incorreto introduzido”.
Resultado: Registar o que aconteceu quando “Iniciar sessão” foi selecionado.
Exemplos de cenários negativos em testes de software
Seguem-se alguns cenários típicos que podem ser verificados através da utilização de métodos de teste negativos.
1. Tipos de dados e de campos
Se já preencheu um formulário online, sabe que estas caixas estão definidas para aceitar determinados tipos de dados. Alguns são apenas números, enquanto outros aceitam datas, texto ou outros tipos de dados.
O teste negativo para estas caixas envolve o envio de dados inválidos, por exemplo, a introdução de letras num campo numérico.
2. Campos obrigatórios
Mais uma vez, os campos obrigatórios são características comuns dos formulários e aplicações. São uma ferramenta útil para garantir que todas as informações críticas são recolhidas antes de o utilizador passar à fase seguinte.
Um bom caso de teste para estes cenários envolve ver o que acontece quando estes campos são deixados em branco. Num cenário ideal, deve ser accionada uma mensagem de erro, instando o utilizador a preencher o campo obrigatório.
3. Número adequado de caracteres
Se tiver uma aplicação de páginas Web em teste, pode ter um campo de dados que exija um número limitado de caracteres. Pode tratar-se de nomes de utilizador, números de telefone, números de registo, etc.
Pode criar casos de teste negativos para estes campos escrevendo testes que introduzam mais do que os caracteres máximos permitidos para ver como a aplicação responde.
4. Limites e fronteiras dos dados
Alguns formulários têm campos com limites fixos. Por exemplo, se quisesse que alguém classificasse algo em 100, os limites dos dados seriam 1-100.
Crie um caso de teste negativo em que tenta introduzir 0, 101 ou outros valores negativos ou positivos de 1-100.
Melhores práticas para testes negativos
Existem várias práticas recomendadas para garantir testes negativos de alta qualidade. Aqui ficam algumas dicas para o ajudar a lá chegar.
1. Defina as entradas inválidas:
Analisar a documentação de desenvolvimento, os casos de utilização e a IU/UX para compreender e identificar potenciais entradas inválidas. Procure tipos de dados inválidos, valores extremos, dados em falta, campos vazios, formatos inesperados e muito mais.
2. Utilizar a análise de valores de fronteira:
Tal como referido anteriormente, defina os seus valores-limite para encontrar casos extremos que possam causar reacções inesperadas.
3. Partição de equivalência de empregados:
Analise os seus domínios de entrada e divida-os em partições de equivalência de valores válidos e inválidos. Este processo ajuda a reduzir o número de casos de teste que terá de escrever, porque se uma parte equivalente de dados inválidos causar problemas numa entrada, será provavelmente representada em toda a classe.
4. Imitar os maus utilizadores:
Os testes positivos verificam o comportamento esperado do utilizador. Os testes negativos exploram o que acontece quando as pessoas utilizam incorretamente a sua aplicação. Por isso, pense nos diferentes cenários em que isto pode acontecer e reproduza-os nos seus casos de teste.
5. Deixe que o risco e o impacto orientem os seus testes:
Nenhum examinador tem tempo ilimitado. A dada altura, terá de fazer escolhas difíceis porque não pode testar (ou mesmo saber) todos os resultados inesperados. Quando tiver de decidir quais os tipos de testes negativos a efetuar, dê prioridade às áreas que trarão mais riscos ou impacto negativo para o seu produto.
6. Verificação do tratamento de erros:
Certifique-se de que faz do tratamento de erros uma parte dos seus testes, verificando se as mensagens de erro são úteis e exactas.
7. Automatizar o mais possível:
A automatização é capaz de lidar com tarefas mundanas e repetitivas. No entanto, os testes negativos ainda requerem uma abordagem manual para testes exploratórios e para encontrar casos extremos.
As melhores ferramentas de teste negativo para 2024
Embora os testes negativos de software sejam comuns em toda a indústria, há uma falta de ferramentas distintas para o trabalho. Uma das principais razões para este facto é a natureza versátil dos testes negativos. Além disso, muitas das mesmas ferramentas que são utilizadas para testes positivos funcionam para testes negativos quando se ajustam os dados de entrada.
ZAPTEST é a melhor ferramenta para testes negativos devido à sua natureza versátil e modular. É fácil de utilizar e personalizável e, graças às capacidades multiplataforma e multi-aplicação, oferece uma flexibilidade difícil de superar.
Testes baseados em dados e
ensaios de mutação
tornam o ZAPTEST perfeito para testes negativos. Além disso, graças à sua RPA pode simular utilizadores do mundo real, reutilizar testes e criar relatórios e documentação com facilidade. Em suma, a capacidade do ZAPTEST de executar software de automação de software de última geração e software de automação de processos robóticos torna-o um balcão único para qualquer tarefa de automação, incluindo testes negativos.
Considerações finais
Os testes negativos nos testes de software ajudam as equipas a compreender como é que a sua aplicação irá lidar com entradas inesperadas e dados inválidos. Enquanto os testes positivos testam se o seu software funciona como pretendido, os testes negativos de software ajudam-no a descobrir o que acontece quando os utilizadores seleccionam entradas e dados incorretamente. Ambas as abordagens são importantes se pretender uma aplicação sólida e robusta, capaz de suportar as tensões e os esforços de diversas interacções com os utilizadores.
