Как мы тестим новые фичи и ищем баги

Разработка программного обеспечения требует внесения большого количества разноплановых изменений , которые с одной стороны добавляют новый функционал и улучшают возможности приложения, с другой стороны изменения могут неявным образом повлиять на общую работоспособность программы в худшую сторону. Чтобы последнего не произошло, изменения должны пройти через отдел тестирования. И в этой статье мы расскажем о том, как работает отдел тестирования в Jivo.

Постановка задачи#

Изначально задача на добавление новых возможностей ставится Продакт Менеджером, который проводит исследование и находит потребности в улучшениях, которые будут положительно восприняты большинством пользователей Jivo. Для этого он составляет подробное техническое задание (ТЗ), в котором описывает логику работы нового улучшения и общие ожидания от этого улучшения. После чего отдел разработки приступает к написанию кода и подтягиванию всех зависимостей (дизайн, тексты, переводы). Как задача готова, по мнению разработчика, она переходит в отдел тестирования.

Пример постановки задачи от Продакт Менеджера:

Что должен проверить отдел тестирования#

Тестирование нового крупного функционала предполагает большой комплекс различных проверок, где шаг за шагом мы подтверждаем качество новых улучшений. При этом мы убеждаемся, что новые улучшения не имеют какого-либо негативного влияния.

• Соответствие требованиям ТЗ. Отдел тестирования проверяет, что новые улучшения сделаны в соответствие с теми требованиями, которые описал продакт менеджер. Так как есть вероятность, что менеджер и разработчик смотрят на одну и ту же ситуацию под разным углом.

• Соответствие бизнес-логике. Отдел тестирования проверяет, что новые улучшения выполняют функцию, ради которой они были сделаны.

• Соответствие удобству. Улучшения должны быть удобными для пользователей Jivo. Они не должны создавать трудностей при работе с программой. Они не должны создавать ощущение, что программа работает не так, как кажется на первый взгляд. Фактически проверяется логичность и простота программы.

• Проверка здравым смыслом. Иногда улучшения выглядят хорошо на бумаге, но при реализации они теряют всю свою внешнюю привлекательность. И если становится очевидно, что это не будет работать правильно, отдел тестирования должен сообщить об этом продакт менеджеру.

• Проверка безопасности Мы проверяем, что улучшения не подвергают опасности пользовательские данные, а также не нарушаются пункты пользовательского соглашения. Это одна из самых тщательных проверок с нашей стороны.

Проверка на ухудшение системы#

Когда первичная проверка улучшений завершена, мы приступаем к выявлению неявных ухудшений системы. Для этого существует всего один способ – проверить целиком всю систему, что все работает правильно.

Чтобы ускорить данный процесс применяется автоматическое тестирование, когда машина проходит определенные сценарии и сверяет фактический результат с ожидаемым. Если где-то происходит отклонение, то мы воспроизводим данный сценарий самостоятельно, и подтверждаем, либо опровергаем ошибку. После чего информация передается разработчикам на исправление. Каждое исправление от разработчиков также проверяется.

Проверка технической поддержкой Jivo#

После того, как изменения готовы, мы выпускаем их на наш собственный сайт. Это позволяет проверить работу программы в реальной ситуации, собрать обратную связь, и при необходимости внести какие-то изменения.

Например, может случиться такая ситуация, что под нагрузкой программа перестанет справляться с объемом входящих данных, что приведет к деградации производительности. Либо какие-то элементы дизайна окажутся неудачными при большом количестве каналов, операторов, посетителей.

Реальная проверка на сотрудниках Jivo – отличный способ устранить такие ошибки.

Проверка на бета-тестерах#

Определенная часть пользователей Jivo добровольно соглашается получать обновления, даже если они могут содержать какие-то ошибки. Такие пользователи в равной мере распределены по странам, что позволяет нам проверить корректность переводов, а также доступность второстепенных сервисов (переводчик, телефония, платежи и так далее).

Если в ходе использования программы, такие пользователи не нашли каких-либо неточностей, мы даем зеленый цвет обновлению, и оно появляется у всех пользователей Jivo.

Во время обновления у всех пользователей, команда сопровождения следит за статистическими данными. Если появляются какие-то отклонения от нормы, мы оперативно устраняем неточности.

Таким образом схема выпуска обновления выглядит так:

Сроки проверки программы#

В среднем проверка улучшения, от передачи в тестирование до появления его у всех пользователей, длится 3-5 недель. Это достаточно длительный срок, но он позволяет нам убедиться, что пользователи получат обновление, которое улучшит качество их работы без каких-либо негативных последствий.

В компании Jivo мы тщательно следим за качеством наших обновлений, мы собираем обратную связь от наших пользователей и следим за тем, чтобы опыт от использования нашего сервиса оставался исключительно позитивным.