Эта статья посвящена тому, как настроить и создать отчет о тестировании. Если вы уже получили его и хотите понять, как толковать результаты, ознакомьтесь со статьей Как разобраться в отчете о тестировании.
Отчет создается автоматически, когда вы публикуете приложение для закрытого или открытого тестирования. Он позволяет выявить проблемы в приложении до того, как оно станет доступно широкому кругу пользователей. Отчет содержит результаты тестирования, которое нацелено на обнаружение следующего:
- проблем со стабильностью;
- проблем совместимости с Android;
- проблем с производительностью;
- проблем с доступностью;
- уязвимостей;
- проблем с конфиденциальностью.
Принцип тестирования
После загрузки и публикации тестовой версии набора Android App Bundle мы устанавливаем приложение на различных устройствах Android. Затем оно автоматически запускается и сканируется в течение нескольких минут. В это время робот выполняет в приложении базовые действия, такие как ввод текста, нажатие и пролистывание. Если вы предоставите нам собственные тесты и учетные данные тестового аккаунта, робот сможет также использовать их при проверке.
По окончании тестирования мы создаем отчет с результатами и удаляем ваше приложение со всех устройств.
Как проверить, подходит ли ваше приложение для тестирования
Мы создадим отчет о тестировании, если сможем установить и просканировать ваше приложение. В некоторых случаях вам нужно будет немного изменить программный код, например если для приложения требуется подтверждение страны или установки. Подробную информацию можно найти в разделе часто задаваемых вопросов.
Учтите, что на тестовых устройствах невозможно проверить фоновые приложения, такие как панели запуска, виджеты, клавиатуры и циферблаты.
Создание отчета о тестировании
Тестирование приложенияЧтобы создать отчет о тестировании, опубликуйте приложение для закрытого или открытого тестирования.
Отчеты для любого приложения, опубликованного для тестирования, будут приходить вам автоматически, пока вы не откажетесь от их получения. Как правило, результаты проверки становятся доступны в течение часа с момента загрузки набора App Bundle, но в некоторых случаях их подготовка занимает несколько часов.
Чтобы получать по электронной почте уведомления о готовых отчетах о тестировании, выполните следующие действия:
- Откройте Play Console > Уведомления.
- Прокрутите экран вниз и установите флажок рядом с параметром "Отчет о тестировании". Вы можете получать письма обо всех отчетах или только об отчетах по приложениям с ошибками.
Отчеты о тестировании создаются автоматически, когда вы публикуете версию приложения для закрытого или открытого тестирования. Чтобы отключить все эти отчеты, выполните следующие действия:
- Откройте Play Console > Отчет о тестировании > Настройки.
- Чтобы больше не получать отчеты о приложении, прокрутите экран вниз до раздела "Настройки" и снимите флажок рядом с параметром "Включить отчет о тестировании".
- Нажмите Сохранить.
Настройка тестирования
Чтобы отчет содержал более подробную и полезную информацию, задайте собственные параметры проверки.
Шаг 1. Если в приложении есть экран входа, укажите учетные данные тестового аккаунта
Если вы хотите, чтобы робот проверил процесс входа или сопутствующий контент, укажите учетные данные аккаунта.
Примечание. Указывать учетные данные не нужно, если вы уже добавили их на странице Контент приложения или если приложение поддерживает функцию "Войти с аккаунтом Google" (в этом случае робот автоматически выполнит вход).
Вот о чем следует помнить, если вы предоставляете учетные данные для тестирования:
- Эти учетные данные используются только для тестирования.
- Мы прилагаем все усилия, чтобы сохранить их конфиденциальность, однако не рекомендуем указывать личные учетные данные. Вместо этого создайте специальный тестовый аккаунт.
- Учетные данные вводятся автоматически только в приложениях со стандартными виджетами Android и не подходят для тестирования приложений, которые используют OpenGL на экране входа или компонент WebView для веб-аутентификации.
- Если приложение поддерживает функцию "Войти с аккаунтом Google", робот выполнит вход автоматически.
- Откройте Play Console.
- Выберите приложение.
- В меню слева нажмите Тестирование > Отчет о тестировании > Настройки.
- В разделе "Учетные данные тестового аккаунта" выберите Предоставить учетные данные.
- Укажите следующие сведения:
- Имя пользователя тестового аккаунта.
- Пароль для тестового аккаунта.
- Нажмите Сохранить. Пока вы не измените учетные данные, они будут использоваться для всех последующих тестирований.
- Откройте Play Console.
- Выберите приложение.
- В меню слева нажмите Тестирование > Отчет о тестировании > Настройки.
- Измените информацию:
- Чтобы изменить учетные данные, в разделе "Учетные данные тестового аккаунта" введите новые имя пользователя и пароль в соответствующих полях.
- Чтобы удалить учетные данные, в разделе "Учетные данные тестового аккаунта" выберите Не предоставлять учетные данные.
- Примечание. Если вы удалите учетные данные тестового аккаунта, то вам потребуется добавить их снова, когда возникнет необходимость в проверке, для проведения которой роботу нужно войти в приложение.
- Нажмите Сохранить. Пока вы не измените учетные данные, они будут использоваться для всех последующих тестирований.
Шаг 2. Добавьте скрипт автоматизированного тестирования или игровой цикл
Чтобы задать для робота определенный порядок действий при проверке приложения, предоставьте скрипт автоматизированного тестирования или игровой цикл.
Как загрузить скрипт Robo, чтобы изменить процедуру проверки приложения на JavaС помощью скрипта Robo вы можете направить проверку приложения в определенное русло, например запланировать тестирование стандартного пути пользователя или нового раздела приложения, а также выполнение других действий.
Если к тестированию прикреплен скрипт, поисковый робот сначала выполняет действия из этого скрипта, а затем – стандартную проверку.
Вот как загрузить скрипт в отчет о тестировании:
- Запишите скрипт с помощью инструмента Firebase в Android Studio: Android Studio > Tools (Инструменты) > Firebase > Test Lab > Record Robo Script (Записать скрипт автоматизированного тестирования). Подробную информацию можно найти в Справочном центре Firebase.
- Примечание. Чтобы создать скрипт Robo, вам не нужен аккаунт Firebase.
- Записав скрипт, откройте Play Console.
- Выберите приложение.
- Нажмите Тестирование > Отчет о тестировании > Настройки. Перетащите файл скрипта в раздел "Настройка выполнения отчета о тестировании" или нажмите кнопку Загрузить.
- Нажмите Сохранить.
Чтобы получить информативный отчет о тестировании игры или приложения на базе OpenGL, необходимо предоставить игровой цикл. Он определяет действия, которые будет выполнять робот. В одном приложении можно протестировать несколько игровых циклов.
Вот как использовать игровые циклы для подготовки отчета о тестировании:
- Измените игру таким образом, чтобы в ней выполнялись следующие действия:
- запуск цикла;
- выполнение цикла;
- завершение цикла (необязательно). Для изменения игры используйте собственную среду разработки. Подробную информацию можно найти в справочном центре Firebase.
- Примечание. Чтобы использовать игровые циклы в отчете о тестировании, вам не нужен аккаунт Firebase.
- Опубликуйте версию игры с игровым циклом в канале закрытого или открытого тестирования. Робот автоматически обнаружит и выполнит игровой цикл.
Шаг 3. Измените начальную точку тестирования, добавив ссылки на контент
Чтобы проверить дополнительные точки входа в приложение, добавьте в отчет о тестировании ссылки на контент (не более трех).
Несколько минут робот будет выполнять обычное тестирование, затем закроет приложение и в течение 30 секунд по очереди перейдет по каждой добавленной вами ссылке. Ошибки, выявленные при дополнительных проверках, будут включены в отчет в обычном режиме.
Подробную информацию о том, как создавать и тестировать ссылки на контент, можно найти на сайте Android для разработчиков.
Шаг 4. Выберите, на каких языках нужно тестировать приложение
На странице Настройки отчета о тестировании укажите языки, для которых вы хотите получать результаты проверок (не более пяти).
Примечание. Так как отчет о тестировании создается автоматически при загрузке тестовой версии набора App Bundle, добавлять языки можно только после завершения начальной проверки.
Как выбрать языки- Откройте Play Console.
- Выберите приложение.
- В меню слева нажмите Тестирование > Отчет о тестировании > Настройки.
- В разделе "Тестирование приложения на определенных языках" выберите + Язык.
- Выберите не более пяти языков. Результаты последующих тестирований будут отображаться только для этих языков.
- Примечание. Если этого не сделать, мы автоматически выберем языки с наибольшим количеством установок приложения.
- Нажмите Сохранить.
Просмотр отчета о тестировании
В готовом отчете вы сможете посмотреть сводку о тестировании, в том числе количество обнаруженных ошибок, предупреждений и незначительных проблем, разделенных по типам. Также вы увидите рекомендации, относящиеся к запуску приложения, на основе результатов его тестирования.
Как посмотреть сводные данные из отчета о тестированииВыполните следующие действия:
- Откройте Play Console.
- Выберите приложение.
- Нажмите Тестирование > Отчет о тестировании > Общие сведения.
- Проверьте все разделы:
- "Стабильность";
- Производительность
- "Доступность";
- "Безопасность и доверие".
- Если в разделе есть ошибка, выберите Показать обзор, чтобы посмотреть сведения о ней.
- Чтобы детально изучить ошибку, нажмите Подробнее.
- Предыдущие отчеты о тестировании можно найти внизу страницы в разделе "Сведения об отчете".
Примечание. Если вы видите сообщение "Тестирование не завершено", дождитесь окончания проверки. Статус "Тест не пройден" означает, что выполнить проверку не удалось. Чтобы запустить новое тестирование, опубликуйте другой набор App Bundle.
Вот как посмотреть подробные сведения, которые содержит отчет о тестировании:
- Откройте Play Console.
- Выберите приложение.
- Нажмите Тестирование > Отчет о тестировании > Сведения.
- Ознакомьтесь с информацией на вкладках Стабильность, Эффективность, Доступность, Скриншоты, а также Безопасность и доверие. Каждая из них содержит полные сведения о последнем тестировании, в том числе трассировку стека, скриншоты и диаграммы.
Примечание. Если вы видите сообщение "Тестирование не завершено", дождитесь окончания проверки. Статус "Тест не пройден" означает, что выполнить проверку не удалось. Чтобы запустить новое тестирование, опубликуйте другой набор App Bundle.
Часто задаваемые вопросы
Тестирования приложений
Сколько длится тестирование?Как правило, результаты проверки становятся доступны в течение часа с момента загрузки набора App Bundle, но в некоторых случаях их подготовка занимает несколько часов. Если через два дня результатов нет, загрузите объект ещё раз, чтобы создать новый отчет.
Приложения, в которых при запуске выполняется проверка
Можно ли протестировать приложение, в котором требуется подтверждение страны?В этом случае для создания отчета потребуется слегка изменить код программы.
Тестовые устройства находятся в США. Некоторые приложения используют геоданные или содержат контент, доступный не во всех регионах, поэтому результаты их тестирования могут быть неполными.
Если вы хотите проверить приложение за пределами США, опубликуйте для тестирования версию набора App Bundle, в которой не требуется определять местоположение. Убедиться, что отчеты о тестировании выполняются в Test Lab, можно двумя способами:
- Занесите в белый список группы IP-адресов, указанные в обзоре Firebase Test Lab.
- Добавьте переменную системы, как описано в разделе Modify instrumented test behavior for Test Lab (Изменение хода автоматизированного тестирования для Test Lab).
Тестовая платформа не поддерживает приложения, которые выполняют такую проверку для устройств с ОС Android.
Приложения с рекламой или возможностями совершения покупки
В моем приложении есть реклама. Повлияет ли тестирование на количество показов и кликов?Google Реклама уже исключает трафик от диапазонов адресов, указанных в отчете о тестировании. Для других рекламных сетей необходимо внести IP-адреса в список игнорируемых.
Узнать, как снизить риск мошенничества, связанного с рекламой, можно на сайте Google Developers.
Тестовые устройства не могут совершать покупки в ходе проверки. Если в ваших приложениях есть платный контент, результаты могут быть неполными.
Другие показатели
В моем приложении применена обфускация (Java) или команда strip (нативный код). Подходит ли оно для тестирования?Да. Отчет о тестировании будет создан в любом случае.
Однако обнаруженные ошибки ANR и сбои также будут зашифрованы или урезаны. Чтобы было удобнее выполнять отладку с учетом трассировки стека, рекомендуем загрузить файл деобфускации или файл отладочных символов.
Вы можете ознакомиться с дополнительной информацией о том, как загрузить такие файлы.
Нет. Тестовая платформа не поддерживает такие действия.
Чтобы проверить приложение вместе с определенным контентом, опубликуйте тестовую версию приложения с медиафайлами, встроенными в набор App Bundle.
Если вы начали открытое тестирование приложения или уже опубликовали его рабочую версию, для отчета о тестировании будет использоваться специальный идентификатор. Благодаря ему приложение сможет проходить проверку на наличие лицензии.
Если вы не запустили открытое тестирование и не опубликовали рабочую версию набора App Bundle, вы получите отчеты о тестировании, но приложение будет считаться нелицензированным. Чтобы его можно было тестировать, опубликуйте закрытую версию с отключенным сервисом лицензирования.
Тестовые устройства по умолчанию используют вертикальную ориентацию экрана. Однако если приложение работает только с горизонтальным расположением, видеоролики и скриншоты тоже будут горизонтальными.
Выбор устройства
Как выбираются устройства, на которых будет протестировано мое приложение?Мы отбираем тестовые устройства, которые широко распространены в той или иной экосистеме, учитывая ряд критериев: популярность, частота возникновения сбоев, разрешение экрана, производитель, версия ОС Android и т. д.
В этом случае они не будут учитываться в отчете о тестировании. При проверке приложения мы не станем использовать дополнительные устройства.
Отчет о тестировании формируется на основе Firebase Test Lab. Если вам нужно изменить набор тестовых устройств, проведите собственное тестирование в консоли Firebase.
Да, мы запустим приложение с помощью эмулятора, так что сканирование будет выполнено так же, как на физическом устройстве.
У нас есть телефоны, планшеты, устройства с Wear OS и компьютеры, например Chromebook. Проверить приложение непосредственно в Android Auto или на устройствах Android TV невозможно.
Мы используем устройства с ОС Android 9 и выше.