Тестирование программного обеспечения – это невероятно сложная и интенсивная область, в которой компании и независимые разработчики стремятся улучшить свои продукты с помощью различных методов тестирования.
Одним из наиболее распространенных методов, которые компании используют для тестирования, является тестирование “черного ящика” – техника, которая создает дистанцию между разработчиками и тестировщиками для получения точных результатов и устранения предвзятости.
Узнайте больше о том, что такое тестирование “черного ящика”, как проводить тестирование “черного ящика” и о некоторых преимуществах внедрения тестирования “черного ящика” в программную инженерию с помощью этого подробного руководства.
Что такое тестирование “черного ящика”?
Тестирование “черного ящика” относится к процессу тестирования системы или части программного обеспечения без предварительного знания того, как она работает внутри. Это относится не только к незнанию исходного кода, но и к тому, что вы не видели никакой проектной документации, связанной с программным обеспечением. Тестировщики просто предоставляют входные данные и получают выходные, как это сделал бы конечный пользователь. Несмотря на то, что это простое определение тестирования “черного ящика”, оно задает общую систему.
Цель тестирования “черного ящика” – заставить пользователей взаимодействовать с программным обеспечением более естественным образом, чем обычно, без каких-либо предубеждений, обусловленных уже имеющимися знаниями о программном обеспечении.
В этой методологии люди, ответственные за выполнение тестов, отличаются от тех, кто разрабатывал программное обеспечение, что создает разделение между двумя командами.
1. Когда и зачем нужно проводить тестирование “черного ящика” при тестировании программного обеспечения?
В цикле разработки есть несколько фаз, на которых использование тестирования “черного ящика” является идеальным, при этом в большинстве случаев тестирование “черного ящика” проводится в конце разработки, незадолго до выпуска продукта.
Сюда входят такие методы, как тестирование на приемку пользователем, в ходе которого программное обеспечение отправляется к членам целевой аудитории программного обеспечения в качестве формы предрелизного тестирования. Это более известно как бета-тестирование и является идеальным инструментом для компании, так как более широкое распространение означает, что люди с большей вероятностью найдут потенциальные ошибки в программном обеспечении.
Работа с методологией “черного ящика” в конце цикла разработки является обязательной, поскольку это версия, к которой пользователь с большей вероятностью получит доступ. Вы можете использовать тестирование “черного ящика” для отдельных функций, но это приведет к потере цели тестирования.
2. Когда не нужно проводить тестирование “черного ящика
На самых ранних стадиях разработки тестирование “черного ящика” имеет очень мало смысла. Когда компания создает базовую функциональность своего программного обеспечения, она использует тестирование “белого ящика”, чтобы разработчик мог увидеть, в какой точке кода возникают проблемы.
Также нет необходимости в тестировании “черного ящика”, когда программное обеспечение является открытым исходным кодом или относительно простым веб-инструментом, или разработано для помощи в проектах кодирования третьих лиц, поскольку существует относительно простой пользовательский интерфейс, и пользователь в любом случае может получить доступ к исходному коду программы. Если вы ожидаете, что пользователь получит доступ к исходному коду, тестирование “черного ящика” теряет свою основную цель.
3. Кто участвует в тестировании “черного ящика”?
Существует множество ролей, участвующих в процессе тестирования “черного ящика”, некоторые из них зависят от характера компании, проводящей тестирование.
Значимые роли, вовлеченные в процесс тестирования “черного ящика”, включают:
– Испытатель
Тестировщик отвечает за выполнение ручного тестирования в компании, пишет подробные тестовые примеры, которые детально изучают приложение, прежде чем выполнить их и сообщить о результатах. Эта роль существует в основном в процессе ручного тестирования, а автоматизированные системы играют роль там, где есть автоматизация тестирования.
– Аналитик по контролю качества
QA-аналитик отвечает за программирование тестовых случаев в процессе QA, в основном, когда компания использует процесс автоматизации QA-тестирования.
Этот процесс включает в себя как разработку тщательных тестовых примеров, обеспечивающих высокий уровень функциональности, так и выполнение тестовых примеров с получением результатов по завершении.
– Разработчик
Лицо, ответственное за разработку программного обеспечения, которое тестирует команда QA. Разработчик получает обратную связь от команды тестирования и соответствующим образом обновляет программное обеспечение, работая в составе команды разработчиков, но находясь в постоянной связи с тестировщиками.
– менеджер по контролю качества
Менеджер QA является лидером команды по обеспечению качества и отвечает за управление всеми задачами, которые выполняют тестировщики.
Это включает в себя составление графика тестирования, организацию списка дел для сотрудников и разрешение любых конфликтов в коллективе. Они также объясняют тестирование “черного ящика” при обучении новых сотрудников.
– Руководитель проекта
Ответственный за качество конечного проекта, руководитель проекта контролирует процесс тестирования, а также разработку, гарантируя, что клиент получит пакет программного обеспечения, полностью соответствующий техническому заданию.
Преимущества тестирования методом “черного ящика
Существует несколько существенных преимуществ использования тестирования “черного ящика” в вашей работе по разработке. Чем больше вы будете знать об этих преимуществах, тем больше вы сможете использовать их по максимуму, извлекая из техники как можно больше пользы.
К основным преимуществам использования тестирования “черного ящика” при обеспечении качества относятся:
1. Отсутствие необходимости в технических знаниях
Подход “черного ящика” означает, что вам не нужны технические знания при изучении приложения.
Цель тестирования “черного ящика” – изучить, как приложение работает для конечного пользователя, а обычный пользователь в большинстве ситуаций не обладает продвинутыми техническими знаниями. Это может снизить стоимость тестирования, помогая организации обнаруживать больше ошибок при меньших затратах, становясь более эффективной с финансовой точки зрения.
2. Точное моделирование пользователя
Конечная цель процесса тестирования “черного ящика” – понять, какие проблемы возникают в приложении, когда пользователь взаимодействует с ним на ежедневной основе.
Некоторые виды тестирования “черного ящика”, направленные на воспроизведение поведения пользователя, моделируют поведение пользователя с высокой степенью точности. Это особенно актуально для приемочного тестирования, в ходе которого конечные пользователи испытывают продукт, не просто моделируя или имитируя поведение пользователя, а реально реализуя его.
Точное моделирование помогает выявить любые ошибки, которые влияют на реальные рабочие процессы пользователя.
3. Возможность краудсорсингового тестирования
Тестирование “черного ящика” – это очень доступная форма тестирования благодаря относительно низким требованиям к квалификации.
Это означает, что компании могут не только нанимать тестировщиков с более низким уровнем технических навыков, но и проводить краудсорсинг тестирования с помощью заядлых клиентов. Это все чаще встречается в игровой индустрии: компании, предлагающие релиз Early Access, со временем обновляют игру, чтобы решить проблемы, которые находят пользователи.
Найти ошибки в этом случае гораздо проще, поскольку все функции получают гораздо более высокий уровень воздействия.
Трудности тестирования “черного ящика
Помимо преимуществ тестирования методом “черного ящика”, существует несколько основных проблем, которые необходимо учитывать. Знание этих проблем означает, что вы можете адаптироваться к ним, повышая стандарты тестирования за счет снижения вредного воздействия, которое может оказывать тестирование “черного ящика”.
Некоторые из этих проблем включают:
1. Сложность поиска причин проблемы
Одним из основных недостатков тестирования методом “черного ящика” является то, что может быть сложнее найти причину проблем, когда у тестировщиков нет доступа к исходному коду.
Хотя они могут описать, в чем заключается ошибка и когда она возникает, у них нет указаний на то, какой фрагмент исходного кода вызывает проблемы и почему.
Тестировщики могут в некоторой степени смягчить эту проблему, если будут тщательно вести записи, а подробные сообщения об ошибках от разработчика также позволят получить дополнительную информацию для будущих обновлений.
2. Автоматизация сложнее
Поскольку вы активно стремитесь воспроизвести то, как пользователь взаимодействует с программным пакетом, автоматизировать процесс тестирования “черного ящика” может быть крайне сложно.
Первая причина этого заключается в том, что тестировщик не имеет доступа к исходному коду, что усложняет задачу создания точного тестового примера. Это сочетается с тем, что тестирование разработано таким образом, чтобы максимально повторить поведение человека, а автоматика специально разработана для роботизированных действий.
Вы можете сбалансировать эту проблему, автоматизируя более трудоемкие задачи и сочетая автоматизацию с ручными тестами, где это возможно.
3. Проблемы с высокомасштабным тестированием
Вышеупомянутые проблемы с автоматизацией означают, что тестирование в больших масштабах является более сложным. Высокомасштабное тестирование предоставляет компаниям гораздо больше данных о программном обеспечении и означает, что ошибки легче найти и воспроизвести.
Требование приоритетного ручного тестирования означает, что организовать тестирование в больших масштабах может быть сложнее. Некоторые компании противодействуют этому, используя систему “открытого бета-тестирования”, при которой любой человек, заинтересованный в продукте, может помочь в проведении предрелизного тестирования и поддержать компанию, предоставляя отзывы о ранних сборках на добровольной основе.
Характеристики тестов “черного ящика
Существует несколько основных характеристик тестов “черного ящика”, которые отличают тестирование от любой другой формы обеспечения качества программного обеспечения.
К этим характеристикам относятся:
1. Отсутствие предварительных внутренних знаний
Тесты “черного ящика” не требуют предварительных внутренних знаний о программном обеспечении. В некоторых случаях это может быть затруднительно, поскольку тестировщики имеют некоторое представление об аспектах программного обеспечения, которое они тестируют, и некоторых функциях, которые они ищут, но в широком смысле это определяется как отсутствие возможности видеть внутреннюю документацию любого рода.
Проще говоря, если информация будет видна конечному пользователю в магазине приложений или на странице загрузки веб-сайта, то ее сможет увидеть и тестировщик.
2. Разделите тестировщиков и разработчиков
Этапы тестирования и разработки выполняются разными людьми в ситуации тестирования “черного ящика”. Это различие происходит из-за недостатка знаний у тестировщиков, так как разработчики обладают знанием исходного кода в силу того, что именно они отвечали за его разработку.
Компании подходят к этому по-разному, в зависимости от конкретной ситуации: некоторые предпочитают использовать для тестирования внешние организации, а в крупных компаниях для этой работы существуют специальные отделы тестировщиков.
3. Испытания на поздних стадиях
Это относится к стадии развития, на которой происходит тестирование. Тесты “черного ящика” опираются на относительно продвинутую версию существующего приложения, с полным пользовательским интерфейсом, который обеспечивает полную навигацию по программе и доступ к передней части каждой функции.
Это означает, что тесты “черного ящика” возможны только на некоторых поздних этапах процесса тестирования, когда все это уже изначально разработано. Несмотря на то, что пользовательский интерфейс и элементы управления могут быть изменены с течением времени, они должны существовать в определенной форме, чтобы тесты “черного ящика” могли получить доступ к функциональности.
Что мы тестируем в тестах “черного ящика
Тестирование “черного ящика” исследует конкретные аспекты программного пакета, предоставляя дополнительную информацию в некоторых областях программного обеспечения, что приводит к обновлениям, повышающим общее качество жизни.
Некоторые из основных частей программного пакета, которые тестировщики исследуют при тестировании “черного ящика”, включают:
1. Функциональность
Некоторые разработчики используют тестирование “черного ящика” как средство обеспечения того, что часть программного обеспечения работает так, как задумано человеком, не обладающим соответствующими знаниями.
Подавляющее большинство людей, использующих любое программное обеспечение в коммерческих целях, делают это, не имея никакого представления о внутреннем устройстве программного обеспечения, поэтому тестирование при наличии таких знаний означает, что вы знаете обходные пути для решения любых существующих проблем.
Такое тщательное тестирование функциональности гарантирует, что все испытают лучшее, что может предложить приложение, а не встретятся с ошибками, которые не видны при тестировании методом “белого ящика”.
2. Пользовательский интерфейс
Пользовательский интерфейс относится ко всем способам, с помощью которых пользователь практически взаимодействует с приложением, чтобы заставить его выполнить ряд задач. Сюда входят меню, с которыми работает пользователь, конкретные кнопки, присутствующие в приложении, и брендинг, существующий во всем программном обеспечении.
Разработчики тратят большую часть своего времени на то, чтобы само приложение работало так, как они ожидают, а это значит, что пользовательскому интерфейсу уделяется меньше внимания.
Тестирование “черного ящика” представляет тестировщикам только пользовательские функции программного обеспечения, привлекая больше внимания к пользовательскому интерфейсу, чем на большинстве других этапов тестирования.
3. Производительность
Помимо нормального функционирования и привлекательного внешнего вида, то, как приложение работает, очень важно для того, чтобы понравиться клиентам.
Производительность включает в себя несколько факторов, в том числе скорость работы приложения при ответе на ввод данных пользователем и ресурсы, которые оно использует на конкретном устройстве.
Благодаря таким форматам тестирования, как сквозное тестирование, изучающее все функции программного обеспечения, разработчики могут увидеть, сколько памяти потребляет приложение и какие из функций оказывают наибольшую нагрузку на соответствующие устройства, определяя эффективность и производительность обновлений в последующих версиях приложения.
Проясняю некоторую путаницу:
Тестирование “черный ящик”, “белый ящик” и “серый ящик
Тестирование “черного ящика” – это концепция, которая звучит похоже на тестирование “серого ящика” и “белого ящика”, но эти идеи в корне отличаются друг от друга. Их смешение может вызвать серьезные проблемы с коммуникацией в процессе разработки и привести к тому, что процесс обновления замедлится и будет менее эффективным.
Читайте дальше, чтобы прояснить некоторую путаницу вокруг различных типов “коробочного тестирования”, их отличия друг от друга и время использования каждого из них.
1. Что такое тестирование “белого ящика”?
Тестирование “белого ящика” иногда называют “тестированием стеклянного ящика”, и оно относится к процессу тестирования, при котором тестировщик имеет полный доступ ко всей информации, лежащей в основе программного обеспечения. Это включает в себя доступ к исходному коду, проектной документации и клиентскому брифу пакета.
Например, если тестировщик работает на самых ранних стадиях процесса разработки, исследуя одну функцию, возможность видеть исходный код этой функции означает, что он может сразу найти причину проблемы.
Одно из лучших времен для использования тестирования “белого ящика” – это преимущественно внутренние задачи. Это относится к ранней разработке функциональной стороны приложения, при этом идеальным вариантом являются быстрые решения, поскольку нет никакой пользы от запутывания кода, когда вы не моделируете пользовательский опыт. Тестирование “белого кода” также используется в системах с открытым исходным кодом, поскольку в этих случаях исходный код доступен всем пользователям.
Каковы различия между тестированием “белого ящика” и тестированием “черного ящика”?
Основное функциональное различие между тестированием “черного ящика” и тестированием “белого ящика” заключается в уровне доступа тестировщика к программному обеспечению, но это имеет гораздо более существенное влияние на такие аспекты тестирования, как сроки.
Тестирование “черного ящика” более последовательно используется на более поздних стадиях процесса, когда продукт приближается к запуску, а на более начальных этапах разработки выигрывает от прозрачности и оперативности тестирования “белого ящика”. Если рассматривать тестирование “черного ящика” и тестирование “белого ящика”, то они также различаются по уровню необходимых знаний, поскольку для более эффективного тестирования “белого ящика” требуются знания в области кодирования и разработки.
2. Что такое тестирование “серых ящиков”?
Тестирование в сером ящике – это форма тестирования, при которой пользователь имеет некоторое представление о коде, не имея полного доступа. Это предполагает наличие исходного кода тестируемой функции или доступ к части проектной документации, чтобы пользователь понимал, каков общий замысел программного пакета.
Например, если тестировщик изучает только одну из функций программного пакета, ему может быть предоставлен доступ к исходному коду этой части приложения.
Компании в основном используют тестирование “серого ящика” при изучении того, как приложение интегрировано со сторонним инструментом. Они могут иметь доступ к исходному коду только для одной части процесса, что ограничивает их возможности по проведению тщательного тестирования “белого ящика”. Вместо этого они видят входы и выходы сторонней интеграции и исходный код, отвечающий за интеграцию.
Тестировщики используют его для оценки того, возникают ли какие-либо проблемы из-за программного обеспечения, стороннего приложения или интеграции между ними.
Каковы различия между тестированием “черного ящика” и “серого ящика”?
Основное различие между тестированием “черного ящика” и тестированием “серого ящика” заключается в уровне доступа к информации, а тип тестируемого программного обеспечения является одним из основных факторов, различающих виды тестирования.
Тестирование “серого ящика”, как правило, включает сторонние инструменты, такие как облачные хранилища данных или внешние инструменты обработки, в то время как системы “черного ящика”, как правило, представляют собой единое целое. Многие тесты “черного ящика” не требуют вмешательства третьих сторон, в то время как интегрированные приложения имеют мало выбора, кроме как работать в методологии тестирования “серого ящика”.
3. Заключение: Тестирование “черный ящик” против “белого ящика” против “серого ящика
В конечном счете, существуют фундаментальные различия между тестированием “черного”, “серого” и “белого” ящиков, и все они основаны на том, предоставляется ли команде тестировщиков закулисная информация.
Тестирование “черного ящика” и “белого ящика” – это крайние точки этого спектра, а тестирование “серого ящика” включает в себя все, что угодно, от возможности видеть весь исходный код, кроме стороннего, до возможности видеть только код, лежащий в основе конкретной функции.
Однако все эти методы тестирования играют определенную роль в тестировании программного обеспечения, поэтому уделять время и внимание их изучению и эффективному применению просто необходимо.
Типы тестов “черного ящика
Существует три основных типа тестирования “черного ящика”, которые охватывают все виды тестирования, проводимые компанией по методологии “черного ящика”. К ним относятся:
1. Функциональное тестирование
Функциональное тестирование охватывает все, что связано с тем, как приложение работает механически. Это включает в себя обеспечение правильной обработки данных, возможность входа пользователей с правильными учетными данными и обработку информации и вводимых данных в соответствии с ожиданиями.
Тестирование функциональности является одним из наиболее важных аспектов процесса и включает в себя как локальную функциональность приложения, так и его взаимодействие с внешними инструментами и программами, такими как облачные сервисы или инструменты единого входа.
2. Нефункциональное тестирование
Под нефункциональным тестированием понимается тестирование, в ходе которого изучается любой аспект программного обеспечения, который не имеет прямого отношения к функциональности приложения. Это включает в себя определение того, является ли приложение удобным и понятным для пользователей, совместимо ли оно с широким спектром устройств и операционных систем и как оно работает при значительных уровнях нагрузки (хотя в некоторых случаях это может переходить в функциональное тестирование).
В основном это происходит в конце процесса разработки, после компиляции готового приложения.
3. Регрессионное тестирование
После обновления тестировщики просматривают приложение, чтобы убедиться, что оно выполнило намеченную функцию и нет непреднамеренных побочных эффектов, которые вызывают регресс приложения.
Это известно как регрессионное тестирование и является фундаментальной частью обеспечения готовности приложения к выходу на рынок.
Регрессионное тестирование используется после каждого обновления, чтобы убедиться, что функциональные и нефункциональные аспекты приложения соответствуют стандартам, которые были достигнуты ранее.
Методы тестирования “черного ящика
Когда вы проходите процесс тестирования “черного ящика”, существует широкий спектр методов, которые вы можете применить для улучшения стандартов вашей работы. Некоторые из наиболее важных методов тестирования “черного ящика”, которые используются в среде обеспечения качества, включают:
1. Попарное тестирование
Попарное тестирование – это форма тестирования, которая фокусируется на опробовании всех возможных комбинаций ввода данных в программное обеспечение.
Например, если числа от одного до десяти – все допустимые записи в одном столбце, а все символы алфавита – в другом, парное тестирование проверит все возможные комбинации от 1А до 10З. Это форма тестирования, которая может занять много времени и усилий для пользователя, что делает ее одной из техник, наиболее открытых для потенциальной гиперавтоматизации. Это очень тщательная проверка и выявление любых потенциальных проблем с вводом данных.
2. Анализ граничных значений
Многие программные продукты основаны на вводе данных, причем эти данные имеют определенные границы, в которых должен работать клиент.
Например, система, предназначенная для вычисления цифр от 1 до 100, может столкнуться с трудностями при вычислении значений 0 или меньше, или больше 100.
Анализ граничных значений включает в себя тестирование этих границ, ввод чисел на границах и вокруг границ, которые тестирует программное обеспечение, чтобы проверить, есть ли ошибки на границе ожидаемого рабочего диапазона программного пакета. Это в первую очередь полезно для систем, основанных на расчетах, и может помочь разработчикам либо скорректировать границы, либо найти причину каких-либо проблем.
3. Тестирование переходов состояний
Многие программы меняются между различными “состояниями” или “режимами” и требуют перехода от одного этапа этого процесса к другому. Правильная работа этих переходов означает, что сайт функционирует так, как ожидает пользователь, и нет никаких неожиданных задержек.
Тестирование переходов между состояниями – это форма тестирования, которая проверяет все переходы между состояниями в части программного обеспечения, гарантируя их функциональность и обеспечивая уверенность в том, что пользовательский поток через программное обеспечение работает без каких-либо непредвиденных прерываний.
Тестирование “черного ящика” в жизненном цикле программной инженерии
Тестирование “черного ящика” – это дисциплина, которая в основном используется в конце жизненного цикла разработки программного обеспечения. Это включает в себя все, начиная от тестирования того, как пользователи будут взаимодействовать с программным обеспечением, и заканчивая предоставлением полного бета-доступа, при этом тестирование “черного ящика” проводится в основном после того, как все функциональные возможности будут работать так, как ожидается.
Это экономит много времени и усилий по сравнению с тестированием “белого ящика”, которое требует высокого уровня знаний, и лучше всего применяется, когда вам не нужна команда разработчиков для немедленного внесения изменений в работу системы.
Ручные или автоматизированные тесты черного ящика?
Тестирование программного обеспечения бывает двух различных форматов: ручное тестирование – это традиционная форма, при которой тестировщики программного обеспечения используются на каждом этапе процесса. Это решительно противоречит автоматизированному тестированию, которое использует все более высокий уровень искусственного интеллекта и машинного обучения для выполнения задач без вмешательства человека.
Читайте далее, чтобы узнать больше о том, что такое ручное и автоматизированное тестирование, о проблемах каждого из них и о том, какой из этих двух способов идеально подходит для компании.
1. Ручное тестирование “черного ящика” – преимущества, проблемы, процесс
Ручное тестирование черного ящика относится к процессу самостоятельного проведения тестирования черного ящика, когда сотрудники выполняют все задачи, а не используют платформу автоматизации как часть инструментария компании.
Некоторые из основных преимуществ использования ручного тестирования при разработке программного обеспечения заключаются в том, что у вас есть большая степень гибкости в отношении способа проведения тестирования, а также в том, что разработчики могут получить гораздо более подробную обратную связь, которая является качественной по своей природе.
Однако в процессе ручного тестирования есть несколько естественных проблем. Первая из них заключается в том, что ручное тестирование может занимать много времени, поскольку люди медленнее, чем автоматизированные программы, выполняют свои задачи.
Другая причина – более высокий уровень потенциальной возможности ошибок, когда люди могут ошибиться при нажатии или сделать что-то не в том порядке. В конечном итоге это может привести к неточностям в данных тестирования.
Ручное тестирование – это процесс, который начинается с изучения ожиданий компании в отношении приложения, а затем написания тестовых примеров, которые отвечают этим требованиям, выполнения тестовых примеров и сообщения результатов команде разработчиков.
2. Автоматизация тестирования “черного ящика” – преимущества, проблемы, процесс
Автоматизированные тесты – это тесты, которые компания проводит для программного пакета путем выполнения тестовых примеров с помощью автоматизированной системы. В них используются сторонние платформы для автоматизации программного пакета, при этом все автоматизированные действия выполняются в соответствии со специально подготовленными тестовыми ситуациями.
Основным преимуществом автоматизации тестирования “черного ящика” является его скорость: автоматизированные программы требуют гораздо меньше времени для каждого отдельного запуска теста. Это дает значительный выигрыш во времени тестирования, которое вы можете потратить на разработку приложения.
Еще одним преимуществом является точность, поскольку хороший инструмент автоматизации каждый раз выполняет одни и те же задачи в одном и том же порядке.
Недостатки все еще могут вызывать проблемы при автоматизации тестирования “черного ящика”, одной из главных проблем является ориентация на количественные данные. Это отлично подходит для метрик, но означает, что при тестировании на приемлемость для пользователя можно получить мало ценной информации.
В автоматизированном тестировании также наблюдается относительный недостаток гибкости, когда аналитикам приходится кодировать совершенно новые тестовые случаи каждый раз, когда они хотят внести изменения.
Процесс автоматизации тестирования начинается с разработки серии тестовых случаев, которые затем кодируются в систему перед выполнением тестов, по завершении которых выдается отчет.
3. Заключение: Автоматизация тестирования вручную или “черный ящик”?
В конечном итоге, выбор между ручным и автоматизированным тестированием “черного ящика” – это сложный выбор, который зависит от того, что вы ищете в системе.
Если вы ищете качественную информацию высокого уровня, которую можно использовать для внесения изменений в дизайн для конечного пользователя, ручное тестирование, безусловно, лучший вариант, а автоматизированное тестирование идеально подходит для функциональных и эксплуатационных этапов процесса.
Подумайте, что вы ищете на каждом этапе процесса тестирования, и вы сможете легко получить управляемые данные, которые улучшат вашу производительность.
Что нужно для начала тестирования “черного ящика”?
Существуют некоторые предварительные условия, которые необходимо иметь перед началом тестирования “черного ящика”, каждое из которых помогает создать более слаженный процесс тестирования.
Некоторые из вещей, которые необходимо иметь перед началом работы по тестированию “черного ящика”, включают:
1. Требования к программному обеспечению
Требования к программному обеспечению – это конкретные пункты технического задания на проектирование, для выполнения которых разрабатывается программное обеспечение. Это может включать в себя целый ряд вещей, начиная от необходимости выполнения определенного набора задач и заканчивая определенным внешним видом и ощущениями при использовании.
Обладая этой информацией, вы получаете несколько конкретных целей, к которым нужно стремиться при тестировании, при этом тестировщики составляют график и план тестирования, что позволяет получить более согласованный набор результатов, информирующих разработчиков о проблемах с программным обеспечением.
В некоторых компаниях, поскольку это тест “черного ящика”, разработчики ограничивают доступ тестировщика к брифу.
2. Скомпилированное программное обеспечение
Перед тестированием программного обеспечения команда обеспечения качества должна получить доступ к нему. Обычно это подразумевает предоставление разработчиками самой последней версии программного обеспечения, при этом команда выигрывает от наличия полностью свежей скомпилированной версии программного обеспечения для проведения тестов.
Наличие последней версии означает, что в тесты включены самые последние исправления, а это значит, что они дают точное представление о работе программного обеспечения.
3. Цели тестирования
Тестировщики обычно подходят к периоду тестирования с определенными целями. Эти цели тестирования определяют, на что именно они будут тестироваться в предстоящий период, будь то приемлемость для пользователя, сквозная функциональность или завершение тестирования на проникновение.
Менеджеры QA, как правило, имеют такие цели, при этом следующий этап тестирования обычно зависит от того, над чем работала команда разработчиков и какие части программного обеспечения затрагивают эти разработки.
Процесс тестирования “черного ящика
Процесс тестирования “черного ящика” является относительно точным, и компаниям выгодно как можно точнее следовать этапам процесса. Различные этапы процесса тестирования “черного ящика” включают:
1. Планирование тестирования
Начните процесс тестирования “черного ящика” с тщательного планирования. Это включает в себя обсуждение всех индивидуальных целей, которые вы ставите перед тестированием, конкретных аспектов программного обеспечения, которые вы исследуете, и ресурсов, которые вы выделяете на тестирование.
Более тщательное планирование означает, что каждый знает, что и когда он должен делать, включая методы, используемые при проведении тестов.
2. Написание тестовых примеров
Написание тестовых примеров – это следующий этап процесса. Тестовый пример относится к серии шагов, которые должны быть выполнены в ходе тестирования, причем более подробные тестовые примеры обеспечивают больший уровень последовательности для пользователя.
В процессе автоматизированного тестирования это также включает в себя кодирование тестового случая в том инструменте автоматизации, который вы планируете использовать.
Дважды проверьте все свои тестовые примеры, чтобы убедиться, что они тщательно и четко описывают шаги, которые необходимо выполнить.
3. Выполнение тестовых примеров
После подготовки тестовых примеров приступайте к их выполнению. При использовании автоматизации это может быть относительно простая задача, которая заключается в том, чтобы запустить программу и ждать результатов. Ручное тестирование основано на многократном выполнении сотрудниками тестовых примеров, причем большее количество повторений приводит к получению более последовательных и качественных данных.
Выполняйте каждый тестовый пример как можно тщательнее, так как чем точнее выполнение тестовых примеров, тем больше шансов, что данные будут полезны команде разработчиков.
4. Итоговая отчетность
Этап окончательной отчетности относится к той части процесса, когда команда тестирования отчитывается перед разработчиками.
Начните с включения простого резюме собранной информации, а затем дополните его всеми метриками, которые собрали тестеры. Это дает разработчикам первоначальное руководство по идеальному направлению для следующей серии обновлений, прежде чем показать им полные данные, что позволяет им глубже понять проблемы.
Лучшие практики тестирования “черного ящика
Независимо от отрасли, следование передовому опыту является обязательным для любой компании. Передовой опыт – это ряд моделей поведения и методов, которые компания получает выгоду от использования в своей повседневной работе, повышая эффективность работы компании и улучшая стандарт программного обеспечения, которое компания использует.
Некоторые из этих методов, которые помогают компании улучшить качество тестирования “черного ящика”, включают:
1. Сосредоточьтесь на развитии навыков
Если вы руководите компанией, которая одновременно работает над несколькими частями программного обеспечения, сосредоточьтесь на развитии навыков и специализации в области тестирования. Чем больше времени вы потратите на специализацию и развитие соответствующих навыков, тем выше ваши шансы устранить все проблемы, существующие в ваших продуктах.
Это сочетается с наймом людей, обладающих нужным набором навыков, но больше всего подходит для компаний, в которых почти постоянно проводится тестирование программного обеспечения, поскольку применение этих способностей всегда приносит пользу.
2. Сбалансировать рабочие нагрузки
Некоторые группы тестирования могут быть очень большими, с десятками или даже сотнями сотрудников, которые регулярно выполняют тестовые задания.
Лучшая практика для получения максимальной отдачи от этих сотрудников – не торопиться и тщательно подходить к назначению конкретных задач. Выгорание имеет серьезную историю возникновения проблем в индустрии разработки программного обеспечения, но этого можно избежать с помощью более эффективного управления рабочей нагрузкой.
3. Создайте последовательные процессы
Компании строятся на наличии процессов, которые их сотрудники выполняют ежедневно, а процессы тестирования включают в себя то, как компания пишет свои тестовые примеры, проводит исследования и осуществляет внутреннюю коммуникацию между отделами.
Последовательность в таких случаях является ключевым фактором, поскольку это означает, что люди быстрее обучаются, когда приходят в компанию. Это приводит к более быстрой адаптации и улучшению результатов гораздо быстрее, чем в компании, где нет согласованности в выполнении задач.
Если вы можете, создайте эти процессы таким образом, чтобы вовлечь сотрудников в процесс принятия решений, поскольку это позволит убедиться, что они согласны со стратегией.
7 ошибок и подводных камней при внедрении тестов “черного ящика
Ошибки естественны в любой отрасли, но знание об ошибках до того, как у вас появится возможность их совершить, может сэкономить вам много времени и сил.
Среди наиболее распространенных ошибок и ловушек, на которые попадаются специалисты по тестированию “черного ящика”, можно назвать следующие:
1. Отсутствие определенного объема тестирования
Некоторые организации начинают тестирование своих продуктов без надлежащего планирования процессов, что является существенной ошибкой.
Из-за отсутствия планирования компании могут потерять представление о масштабах тестирования. Наличие согласованного объема помогает провести тест в нужном масштабе и эффективно достичь результатов.
Если вы не договоритесь о масштабах тестирования до начала работы, существует серьезный риск провести слишком широкое тестирование и потратить слишком много времени на получение результатов, которые окажутся менее релевантными.
2. Ускоренные процессы тестирования
Тестирование может показаться процессом, который занимает очень много времени, особенно при использовании затянутых тестовых примеров, предназначенных для изучения всего приложения. У некоторых людей может возникнуть искушение поторопиться с тестами, особенно при повторном проведении предыдущих тестов. Это серьезная ошибка. Спешка в тестировании может привести к ошибкам в выполнении тестовых примеров, ухудшению ценности данных и, в конечном счете, к необходимости повторного проведения тех же тестов.
3. Автоматизация без процесса проверки
Автоматизация тестирования в первую очередь направлена на то, чтобы убедиться, что ввод значения данных приведет к правильному результату в конце процесса. Автоматизация этих тестов работает путем проверки соответствия результатов автоматизированного процесса тому, какими должны быть результаты.
Некоторые тестировщики допускают существенную ошибку, не вычисляя значение самостоятельно, что означает, что у них нет возможности проверить правильность вывода и потенциально не найти существенные ошибки во всей системе.
4. Неиспользование гибридного тестирования
Гибридное тестирование – это баланс между автоматизацией и ручным тестированием, поскольку эти два метода работают таким образом, что идеально перекрывают недостатки друг друга.
Некоторые организации, однако, предпочитают сосредоточиться на одном из двух методов. Тем самым вы открываете возможность для серьезных проблем и неточностей в вашем тестировании.
Проведите гибридное тестирование, чтобы добиться лучшего уровня сбалансированности тестирования и максимально снизить количество ошибок.
5. Незавершение регрессионного тестирования
Регрессионное тестирование должно быть постоянным процессом в любой эффективной системе тестирования программного обеспечения. Этот вид тестирования позволяет установить, не вызвали ли обновления программного обеспечения проблем в других частях системы. Невыполнение регрессионного тестирования означает, что функции, которые вы тестировали на ранних этапах процесса, могут дать сбой без вашего ведома.
Выполняя регрессионное тестирование, вы обеспечиваете поставку более качественного продукта без лишней работы по обеспечению качества.
6. Активная охота за ошибками
Некоторые считают, что цель тестирования “черного ящика” – найти ошибки в программном пакете и сообщить о них команде разработчиков, и хотя это один из аспектов, он не является единственным. Тестирование существует для того, чтобы в целом улучшить стандарт программного пакета.
Сосредоточившись на ошибках в программном обеспечении, вы начинаете выходить за рамки стандартных рабочих процессов, выходить за рамки тестирования и игнорировать некоторые более важные проблемы программного обеспечения в обмен на поиск потенциально неактуальных недостатков в коде.
7. Игнорирование своей интуиции
При ручном тестировании эта роль принадлежит тестировщику, поскольку он обладает развитой интуицией и знанием кода, которые направляют его к потенциальным проблемам и сообщают ему о тех областях, которые следует изучить при работе.
Однако некоторые предпочитают полностью игнорировать эту интуицию при работе над тестовыми случаями. Записывая все, что вы хотите проверить, и проверяя это в новом тестовом примере, вы получаете полную отдачу от своих технических знаний и при этом завершаете подготовленные тестовые примеры.
Типы результатов испытаний “черного ящика
Существует несколько типов результатов, которые вы можете получить в ходе тестирования “черного ящика”, и каждый из них дает уникальные сведения для компании, стремящейся внести соответствующие обновления в свою продукцию и улучшить качество, которое испытывают клиенты.
Некоторые из основных типов результатов испытаний “черного ящика” включают:
1. Качественные данные
Первая форма результатов, которые вы можете получить в результате тестирования “черного ящика”, – это качественные данные. Это информация, которая в первую очередь описывает приложение и получена в результате таких тестов, как сквозное тестирование и тесты на удобство использования.
Качественные данные обычно описывают стандарт приложения, обсуждают опыт работы людей с приложением и объясняют, какие изменения хотел бы внести тестировщик.
При создании таких данных тестировщик обычно пишет подробный отчет, в котором приводит все доказательства своих утверждений, подкрепляя качественные суждения дополнительными характеристиками, например, скриншотами того, на что они ссылаются.
2. Количественные данные
Это относится к четким числовым данным в виде метрик, при этом сотрудники отдела тестирования либо обращают внимание на определенные части приложения, либо получают числовые данные из протокола автоматизированного тестирования.
Количественная информация, как правило, более полезна для предоставления разработчикам отдельных исправлений, указывающих на такие части приложения, как уровень его производительности, эффективность с точки зрения используемых ресурсов и количество ошибок и проблем, присутствующих в приложении.
Количественную информацию проще анализировать и оценивать, чем ее описательный эквивалент, поскольку нет необходимости в какой-либо интерпретации.
3. Сообщения об ошибках
Сообщения об ошибках появляются, когда функциональность программного обеспечения работает не так, как ожидалось. Это может быть связано с аппаратными или программными проблемами, обычно сопровождается кратким описанием проблемы в дополнение к коду ошибки.
Разработчики создают систему кодов ошибок, чтобы помочь им определить, где именно в системе возникает проблема. Некоторые идеи для реализации включают использование первой цифры для определения функции, которая испытывает проблему, второй – для описания конкретного сбоя и третьей – для указания причины проблемы.
Использование этой системы кодов ошибок означает, что разработчики сразу знают, в чем проблема, и могут работать над ее решением.
Примеры тестов “черного ящика
В то время как теория, лежащая в основе тестирования “черного ящика”, относительно проста, ее практическая реализация может быть сложным процессом, особенно для начинающего тестировщика. Увидев пример тестирования “черного ящика” в действии, вы сможете сориентироваться в организации тестирования.
Некоторые примеры методов тестирования “черного ящика”, включающие несколько типов тестирования и различную степень успеха, включают:
1. Неэффективное приемочное тестирование пользователей
Одна компания собирается выпустить свой продукт в ближайшие недели, при этом тестирование на приемлемость для пользователей еще не проведено. Приложение представляет собой учебник по вязанию для пожилой аудитории.
Разработчики стремятся ускорить этот процесс и быстро собрать группу тестеров, используя для тестирования исключительно тех, кто не вяжет в возрасте около тридцати лет, поскольку они являются более доступной группой. Эта группа не видит никаких проблем с заявкой и разрешает ее публичную публикацию.
Из-за противоречивых уровней технических знаний между двумя группами, целевая аудитория больше путается при использовании программного обеспечения и не может получить доступ ко многим функциям. В ответ на это компания вынуждена провести срочные обновления.
Неудачи в испытаниях, подобных этому, демонстрируют важность тщательной подготовки.
2. Успешное сквозное тестирование
Под сквозным тестированием понимается тестирование, которое проводится после того, как функциональность приложения впервые полностью собрана в единый программный пакет.
Компания тщательно спланировала процесс сквозного тестирования, наняв ряд сотрудников специально для выполнения обязанностей по тестированию, причем два сотрудника занимаются каждым тестовым случаем.
Следуя тщательному процессу, они выполняют свои тестовые задания и записывают все полученные данные, а в конце тестирования менеджер по контролю качества собирает эти данные в единый отчет.
Разработчики используют этот отчет для планирования следующей серии обновлений и изменений в приложении, значительно улучшая продукт.
3. Автоматизированное регрессионное тестирование
Разработчик завершил серию обновлений своего программного обеспечения, которое до обновлений работало так, как ожидалось. После обновлений команда тестирования проходит процесс регрессионного тестирования, уделяя особое внимание автоматизации и получению автоматизированной платформы для выполнения всех основных функций.
Команда пишет код для тестового случая и выполняет тестовые случаи, читая все результаты тестов и находя потенциальные проблемы.
Это предотвращает возникновение проблем из-за того, что организация делает обновления и не проверяет, есть ли в них проблема или нет.
Типы ошибок и недочетов, выявляемых при тестировании методом черного ящика
Хотя ошибки и баги – это не все в процессе тестирования “черного ящика”, они составляют значительную часть того, как компании проводят тестирование.
Знание некоторых основных типов ошибок и багов при тестировании методом “черного ящика” поможет вам классифицировать любые проблемы, с которыми вы столкнетесь, и лучше понять причины их возникновения.
Некоторые из основных типов ошибок и багов, которые можно обнаружить с помощью тестирования “черного ящика”, включают:
1. Ошибки юзабилити
Ошибки юзабилити относятся к недостаткам программы, которые фактически не влияют на функциональность, но могут вызвать проблемы у пользователя, пытающегося взаимодействовать с программой.
Например, если приложение имеет серьезный графический сбой, оно все еще технически функционирует, но без правильных значков и текста конечный пользователь не может эффективно использовать его. Эти вопросы, как правило, связаны с дизайном приложения и тем, как оно загружается для пользователя, причем более сложные приложения требуют более сложной графики, чем в более простых пользовательских интерфейсах.
2. Функциональные ошибки
Функциональные ошибки относятся к проблемам, которые возникают, когда часть программы работает не так, как ожидалось.
Например, если вы работаете с программным обеспечением базы данных и пытаетесь отсортировать информацию по определенной категории, но обнаруживаете, что это не работает. Это касается как функций, которые вообще не работают, так и тех, которые вроде бы работают, но делают это неправильно.
Это могут быть одни из самых серьезных проблем для приложения, причиняющие пользователям значительные неудобства и ухудшающие репутацию разработчика, поскольку продукт работает не так, как рекламируется.
3. Аварии
Когда происходит сбой программного обеспечения, это означает, что в нем есть фундаментальная проблема, которая не позволяет ему работать. Существует несколько различных форм сбоев, которые могут произойти, включая случаи, когда приложение закрывается полностью или просто зависает в какой-то момент процесса.
Сбой – одна из самых серьезных проблем, которые могут возникнуть, поскольку нет способа вернуть приложению работоспособность, кроме как полностью закрыть и открыть его заново. В то время как некоторые приложения все еще выполняют процессы в фоновом режиме, нет возможности взаимодействовать с программным обеспечением после этого момента.
Общие метрики тестирования “черного ящика
Ручное тестирование “черного ящика” отлично подходит для получения качественных данных, но когда вы сосредотачиваетесь на количественных данных, вам необходимо знать метрики, которые вы проверяете. Полное понимание этих показателей поможет вам понять недостатки платформы и определить приоритеты в работе над различными областями.
Некоторые из наиболее распространенных метрик тестирования “черного ящика”, которые можно встретить в работе, включают:
1. Коэффициент ошибок
Коэффициент ошибок может означать несколько вещей: либо чистое количество ошибок, возникающих в цикле тестирования программного обеспечения, либо количество ошибок, возникающих на час тестирования. Почасовые показатели лучше, так как они отражают плотность ошибок в программном обеспечении, а не просто указывают число, при этом более крупные приложения могут быть искажены.
Разработчики стремятся ограничить количество ошибок в своих приложениях, поскольку чем меньше ошибок в программном пакете, тем лучше будут впечатления клиента от использования системы.
2. Время реакции
Когда тестировщик стремится узнать больше об уровне производительности, который испытывает пользователь, время отклика является одним из основных аспектов, на которые следует обратить внимание. Это количество времени, которое требуется программе для выполнения задачи после ввода пользователем запроса, при этом более длительное время отклика свидетельствует об относительно неэффективной работе приложения. Повышенное время отклика – повод для беспокойства, поскольку пользователи могут потерять терпение при работе с приложением, которое занимает слишком много времени.
3. Удовлетворенность пользователя
Большинство метрик сосредоточено на чистых числах, которые генерируются программным пакетом и тестирующим программным обеспечением при тестировании, но некоторые метрики сосредоточены на мнении.
Если компания проводит бета-тестирование, в котором участвуют, например, 1000 тестеров, она может собрать данные о количестве людей, которые остались довольны, и перевести их в процентное соотношение. Это чрезвычайно полезный показатель, который можно получить в конце цикла: более высокий уровень удовлетворенности пользователей свидетельствует о том, что программа нравится большему числу людей, и указывает на то, что она с большей вероятностью будет успешной в будущем.
Лучшие инструменты для тестирования черного ящика
Тестирование “черного ящика” – это вид тестирования, который может существенно зависеть от наличия под рукой инструментов, как для автоматизации тестирования “черного ящика”, так и для организации информации, полученной в результате тестирования.
Использование правильной комбинации инструментов поможет вам и вашей команде работать намного эффективнее и построить более эффективные процессы в отделе обеспечения качества.
Ознакомьтесь с некоторыми из лучших инструментов для тестирования “черного ящика” ниже и узнайте, как именно каждый из них может помочь вам добиться успеха:
5 лучших бесплатных инструментов для тестирования черного ящика
Небольшие и развивающиеся компании, такие как независимые разработчики, не имеют большого бюджета для работы при создании своего программного обеспечения. Это может повлечь за собой целый ряд проблем, включая поиск подходящих инструментов для работы.
Ниже перечислены некоторые из лучших бесплатных инструментов, доступных независимым разработчикам, желающим улучшить свои рабочие процессы за счет бюджета:
1. ZAPTEST FREE EDITION
Бесплатная версия ZAPTEST – это идеальное введение в автоматизацию тестирования программного обеспечения. Этот инструмент специально разработан для поддержки автоматизации любых задач, помогая вам работать быстрее и эффективнее независимо от выполняемой задачи.
Бесплатная версия ZAPTEST содержит огромное количество функций для автоматизации любого приложения… 1SCRIPT реализация кросс-браузерности, кросс-устройств, кросс-приложений и параллельного выполнения – вот одна из доступных функций.
2. JIRA
Бесплатные версии JIRA – идеальные инструменты для записи ошибок, добавления подробностей в тикеты и определения их приоритетности при общении с командой разработчиков.
Однако вместо того, чтобы быть универсальным средством автоматизации, он специализируется исключительно на управлении проектами в процессе тестирования.
3. Selenium IDE
Приложение с открытым исходным кодом, которое записывает и воспроизводит автоматизацию тестирования, является хорошим инструментом для просмотра того, что видит платформа автоматизации при выполнении теста.
Одним из недостатков Selenium является относительное отсутствие расширенных возможностей, таких как кросс-платформенная интеграция автоматизированных задач.
4. AutoHotkey
AutoHotkey – это совершенно бесплатный язык сценариев с открытым исходным кодом для Windows, который помогает пользователям создавать сценарии разного размера, выполняющие ряд задач после ввода одного нажатия клавиши.
Хотя AutoHotkey хорошо подходит для автоматизации простых задач, он может начать испытывать трудности с некоторыми большими сценариями и требованиями к автоматизации.
5. Appium
Инструмент, который в первую очередь справляется с автоматизацией приложений для iOS, является идеальной программой для улучшения качества ваших мобильных приложений.
Самым большим недостатком Appium является тот факт, что вы ограничены очень небольшим количеством продуктов, что значительно сокращает ваш доступный рынок.
5 лучших инструментов тестирования “черного ящика” для предприятий
Бесплатные инструменты – это все хорошо, но предприятиям и крупным компаниям необходимо иметь больше возможностей для тщательного тестирования своего программного обеспечения. К счастью, некоторые из лучших инструментов тестирования “черного ящика” для предприятий обладают широкой функциональностью и помогают компаниям получить значительную отдачу от инвестиций в процессы QA.
К числу идеальных инструментов для тестирования “черного ящика” на предприятии, в которые следует инвестировать, относятся:
1. ZAPTEST ENTERPRISE EDITION
Корпоративная версия ZAPTEST является одним из самых значительных инструментов автоматизации на рынке и может обеспечить до 10-кратного возврата инвестиций в ваш продукт.
Такие возможности, как доступ к штатному эксперту ZAP в качестве удаленной части вашей команды и неограниченное количество лицензий, гарантируют, что вы сможете внедрить автоматизацию тестирования “черного ящика” без необходимости сложного обучения и по фиксированной стоимости независимо от скорости вашего роста.
2. TestRail
TestRail – это платформа, ориентированная на тестирование в реальном времени с целью соединения ваших тестов с целостной платформой управления проектами. В то время как это идеально подходит для централизации работы по управлению командой, функции автоматизации далеки от идеальных для команды разработчиков, желающих уделять большое внимание автоматизированным тестам.
3. Opkey
Opkey – это платформа, которая фокусируется на автоматизации без кода, что означает, что люди без имеющихся технических знаний могут начать автоматизировать свои службы тестирования.
Одним из основных недостатков Opkey является отсутствие активного сообщества, окружающего программное обеспечение, что может привести к тому, что вы почувствуете себя в затруднительном положении, пытаясь автоматизировать работу новым для вас способом.
4. Perfecto
Perfecto – это инструмент, который фокусируется на помощи пользователям в автоматизации мобильных приложений без каких-либо серьезных проблем, работая на широком спектре устройств и фокусируясь на сквозном тестировании.
Однако приложение работает на реальных устройствах, а не на виртуальных машинах, что добавляет еще одну большую стоимость к тому, что уже является относительно дорогим инструментом тестирования, для ограниченных платформ.
5. JIRA Enterprise
Помимо завершения автоматизации тестирования, важным остается управление проектами, и здесь на помощь приходит JIRA. Корпоративная JIRA имеет большее хранилище и позволяет большему количеству пользователей получить доступ к платформе, но может вызвать потенциальную путаницу из-за необходимости индивидуальных разрешений и доступа для каждого отдельного пользователя. На это уходит много административного времени.
Когда следует использовать
Корпоративные инструменты против “черных ящиков” Freemium?
Для начала большинство компаний будут использовать freemium инструменты “черного ящика”. Это имеет смысл с экономической точки зрения, поскольку ни один разумный бизнес не хочет инвестировать в продукт, который он не понимает до конца, будь то управление проектом или автоматизация.
Freemium-инструменты включают в себя не только полностью бесплатные приложения, но и бесплатные версии корпоративных продуктов, которые компания использует, когда учится внедрять инструмент в свои процессы.
Идеальное время для организации обновить выбранный инструмент до корпоративной версии – это когда компания начинает испытывать трудности в процессах тестирования из-за использования бесплатного инструмента. Будь то бесплатный инструмент, предлагающий только определенное количество лицензий, или объем тестирования, в тот момент, когда вы начнете ощущать неэффективность своих процессов в результате использования инструментов тестирования, вам следует перейти на корпоративную версию, которая будет соответствовать всем вашим потребностям.
Контрольный список тестирования черного ящика, советы и рекомендации
Поскольку тестирование “черного ящика” – это очень сложный метод тестирования с широкими возможностями для расширения своих знаний о программном пакете, есть несколько вещей, на которые вам следует обратить внимание.
Некоторые важные советы и рекомендации, которые следует включить в контрольный список тестирования “черного ящика”, включают:
– Понимание брифа
Прежде чем приступать к разработке планов тестирования, убедитесь, что вы понимаете более широкое техническое задание на период тестирования. Это включает в себя понимание программного обеспечения настолько, насколько вам разрешено, и изучение того, что именно вы должны тестировать.
– Проверка тестового случая
Постарайтесь привлечь всех участников тестирования к оценке тестовых случаев, которые вы используете при тестировании “черного ящика”. Чем больше глаз увидят тестовый пример до его реализации, тем больше шансов устранить любые ошибки.
– Составьте список дел, которые необходимо сделать
Нетехническая сторона подготовки к тестированию “черного ящика” может быть не менее важна, чем техническая. При планировании создайте последовательный список дел, которые необходимо выполнить, в котором будет указано, кто и в какое время тестирует ту или иную часть программного обеспечения. Это уменьшает и путаницу, и потенциальное выгорание, и задержки из-за того, что другие задачи берут верх.
– Немедленно регистрируйте результаты
Записывайте любые результаты, которые тест генерирует немедленно. Слишком долгое ожидание при ручном тестировании может привести к неправильному запоминанию проблем, поэтому мгновенные заметки значительно повышают точность.
– Поддерживать связь с разработчиками
Обсудите сроки и стратегию тестирования с разработчиками, чтобы они понимали, что происходит и когда можно ожидать работы над новыми обновлениями. Это включает в себя установление четких процессов, с помощью которых отделы общаются друг с другом.
– Действенные данные
При написании отчета убедитесь, что все данные, которые вы предоставляете разработчику, пригодны к действию. Это помогает команде разрабатывать продукт, который отвечает на ее проблемы, вместо того, чтобы разработчик не понимал, какие изменения ему необходимо внести.
– Поймите свои приоритеты
Как команда тестировщиков, ваша приоритетная задача состоит в том, чтобы компания поставляла пользователям высококачественный продукт. Если тестирование занимает немного больше времени, чем ожидалось, помните, что это достойный обмен на повышение качества, которое испытывает клиент.
– Знать иерархию
В идеальной компании-разработчике разработчики и тестировщики находятся на одном уровне иерархии и имеют одинаково важное влияние на то, как развивается программное обеспечение. Поймите, как устроена иерархия в вашей организации, и постарайтесь сделать так, чтобы все понимали ценность хорошего тестирования.
– Ведите последовательную документацию
Сохраняйте копии всех данных и отчетов, которые вы создаете в ходе тестирования. Вы можете отслеживать изменения в приложении, за которые отвечает команда тестирования, а также просматривать старые ошибки на предмет их повторения в будущих редакциях.
Заключение
Тестирование “черного ящика” в конечном итоге является одной из самых важных частей процесса тестирования программного обеспечения. Он помогает компаниям убедиться в том, что поставляемая ими продукция соответствует самым высоким стандартам, и использует изменение перспективы, чтобы предложить уникальное понимание того, как приложение воспринимается и реализуется внешним пользователем.
Любая компания, которая не добавляет в свои процессы автоматизированное и ручное тестирование “черного ящика”, упускает возможность значительно улучшить качество своих приложений. Проводите разумное тестирование, и вы будете пожинать плоды, когда ваши клиенты получат доступ к вашему продукту.
Часто задаваемые вопросы и ресурсы
Независимо от того, как много вы знаете о тестировании методом “черного ящика”, у вас могут возникнуть дополнительные вопросы, и вы захотите углубить свое понимание этого метода. Ознакомьтесь с нашими часто задаваемыми вопросами ниже, чтобы узнать больше о тестировании “черного ящика” и получить доступ к ряду ресурсов, которые могут рассказать вам больше об этой методологии.
1. Лучшие курсы по автоматизации тестирования черного ящика
Существует несколько курсов по автоматизации тестирования черного ящика, которые вы можете пройти, каждый из которых помогает людям достичь различных стандартов тестирования.
Среди наиболее высоко оцененных курсов по тестированию “черного ящика” можно назвать следующие:
– “Тестирование “черного ящика” и “белого ящика”” от Coursera
– Серия “Тестирование программного обеспечения “Черный ящик”” от BBST
– “Введение в методы тестирования программного обеспечения “черный ящик”” от Udemy
– “Автоматическое тестирование программного обеспечения” от Лондонской школы новых технологий
– “Три ключевых метода тестирования черного ящика” от Udemy
2. Каковы 5 лучших вопросов для собеседования по теме “Тестирование черного ящика”?
Тестирование программного обеспечения – это высококонкурентная область, в которой на каждую вакансию претендует множество кандидатов. Если вы пройдете собеседование на должность специалиста по тестированию “черного ящика”, вот некоторые из вопросов, на которые вы, возможно, захотите подготовиться к ответам на собеседовании:
– Какой у вас опыт работы с тестированием методом “черного ящика”?
– Каковы основные различия между тестированием “черного ящика” и тестированием “белого ящика”?
– Есть ли у вас опыт работы с автоматизацией программного обеспечения на предыдущих должностях?
– Можете ли вы рассказать нам о том, когда вы столкнулись с трудностями на рабочем месте и как вы их преодолели?
– Как вы думаете, каково будущее тестирования “черного ящика”, и насколько ваши навыки подходят для долгосрочной карьеры в области тестирования программного обеспечения?
3. Лучшие учебники Youtube по тестированию черного ящика
YouTube является одним из наиболее важных учебных ресурсов, доступных людям, развивающим свои навыки тестирования программного обеспечения, поскольку он предоставляет бесплатный источник информации, которую вы можете использовать для развития своей техники.
Одними из лучших учебных пособий, которые следует посмотреть при изучении тестирования методом “черного ящика”, являются:
– “Введение в тестирование черного и белого ящиков – Georgia Tech – Процесс разработки программного обеспечения” от Udacity
– “Тестирование “черного ящика” и “стеклянного ящика”” от MIT OpenCourseWare
– “7 техник тестирования “черного ящика”, которые должен знать каждый QA” от Академии тестирования
– “Тестирование “черного ящика”| Что такое тестирование “черного ящика”| Обучение тестированию “черного ящика”” от Intellipaat
– “Что такое тестирование “белый ящик”, “серый ящик” и “черный ящик”?” от ITProTV
4. Как поддерживать тесты “черного ящика”?
Ведение тестов “черного ящика”, будь то ручные или автоматизированные тесты, – это вопрос внимания к тестам по ходу их проведения и постоянного поиска исправлений в случае возникновения проблем.
Это включает в себя обеспечение того, чтобы все тестовые случаи выполнялись так, как вы ожидаете, каждый раз и проверку того, что автоматизированные инструменты выполняют все правильные шаги. Делайте это как можно чаще, чтобы не допустить снижения стандартов, поскольку хорошо проведенный тест “черного ящика” дает наиболее точные результаты.
5. Лучшие книги по тестированию “черного ящика
Несмотря на то, что тестирование черного ящика и тестирование программного обеспечения в целом – это постоянно развивающаяся область, есть несколько книг, которые остаются актуальными и предлагают много идей для улучшения вашей работы по тестированию.
Среди лучших книг по тестированию “черного ящика” можно назвать следующие:
– “Тестирование “черного ящика”: Техники функционального тестирования программного обеспечения и систем” Бориса Бейзера
– “Тестирование программного обеспечения: Принципы и практика” Шринивасан Десикан, Гопаласвами Рамеш
– “Основы тестирования программного обеспечения” Ральф Бириг, Стивен Браун, Эдгар Гальван
– “Введение в тестирование программного обеспечения” Пол Амманн, Джефф Оффутт
