В этой статье рассказывается, как проводится тестирование. Если вы уже завершили его и хотите понять, как толковать результаты, ознакомьтесь со статьей Как разобраться в отчете о тестировании.
Такие отчеты создаются автоматически, когда вы загружаете набор App Bundle или APK, если в нашей лаборатории устройств есть доступные ресурсы. Мы проверяем каждый объект при загрузке и при сохранении рабочей версии. Это помогает выявить проблемы в приложении, прежде чем оно станет доступно пользователям. Отчет содержит результаты тестирования, которое нацелено на обнаружение следующего:
- проблем со стабильностью;
- проблем совместимости с Android;
- проблем с производительностью;
- проблем с доступностью.
Процедура тестирования
Когда вы загружаете набор App Bundle или сохраняете выпуск как рабочую версию, для проверки мы устанавливаем их на различных устройствах Android. Затем ваше приложение автоматически запускается и сканируется в течение нескольких минут. В это время робот выполняет в приложении базовые действия, такие как ввод текста, нажатие и пролистывание. Также, если вы предоставите нам собственные тесты и учетные данные тестового аккаунта, робот сможет использовать их при проверке.
По окончании тестирования мы создаем отчет с результатами и удаляем ваше приложение со всех устройств лаборатории.
Возможность тестирования вашего приложения
Мы создадим отчет о тестировании, если сможем установить и просканировать ваше приложение. В некоторых случаях вам нужно будет немного изменить программный код, например если для приложения требуется подтверждение страны или установки. Подробную информацию можно найти в разделе часто задаваемых вопросов.
Примечание. На тестовых устройствах невозможно проверить фоновые приложения, такие как оболочки, виджеты, клавиатуры и циферблаты.
Создание отчетов о тестировании
Отчеты о тестировании создаются автоматически с учетом общей загруженности лаборатории устройств. Если мощности позволяют, тесты запускаются при загрузке App Bundle или сохранении рабочей версии.
Настройка параметров тестирования
Чтобы отчет содержал более подробную и полезную информацию, задайте собственные параметры проверки.
Шаг 1. Если в приложении есть экран входа, укажите учетные данные тестового аккаунта
Если вы хотите, чтобы робот проверил процесс входа или сопутствующий контент, укажите учетные данные аккаунта.
Примечание. Указывать учетные данные не нужно, если вы уже добавили их на странице Контент приложения или если приложение поддерживает функцию "Войти с аккаунтом Google" (в этом случае робот автоматически выполнит вход).
Вот о чем следует помнить, если вы предоставляете учетные данные для тестирования:
- Эти учетные данные используются только для тестирования.
- Мы прилагаем все усилия, чтобы сохранить их конфиденциальность, однако не рекомендуем указывать личные учетные данные. Вместо этого создайте специальный тестовый аккаунт.
- Учетные данные вводятся автоматически только в приложениях со стандартными виджетами Android и не подходят для тестирования приложений, которые используют OpenGL на экране входа или компонент WebView для веб-аутентификации.
- Если приложение поддерживает функцию "Войти с аккаунтом Google", робот выполнит вход автоматически.
- Откройте Play Console.
- Выберите приложение.
- Перейдите на страницу Настройки отчета о тестировании. Для этого в меню слева нажмите Тестирование и выпуск > Тестирование > Отчет о тестировании > Настройки. В разделе "Учетные данные тестового аккаунта" выберите "Предоставить учетные данные". В разделе "Учетные данные тестового аккаунта" выберите Предоставить учетные данные.
- Укажите следующие сведения:
- Имя пользователя тестового аккаунта.
- Пароль для тестового аккаунта.
- Нажмите Сохранить. Пока вы не измените учетные данные, они будут использоваться для всех последующих тестирований.
- Откройте Play Console.
- Выберите приложение.
- Перейдите на страницу Настройки отчета о тестировании. Для этого в меню слева нажмите Тестирование и выпуск > Тестирование > Отчет о тестировании > Настройки.
- Внесите изменения:
- Чтобы изменить учетные данные, в разделе "Учетные данные тестового аккаунта" введите новые имя пользователя и пароль в соответствующих полях.
- Чтобы удалить учетные данные, в разделе "Учетные данные тестового аккаунта" выберите Не предоставлять учетные данные.
- Примечание. Если вы удалите учетные данные тестового аккаунта, то вам потребуется добавить их снова, когда возникнет необходимость в проверке, для проведения которой роботу нужно войти в приложение.
- Нажмите Сохранить. Пока вы не измените учетные данные, они будут использоваться для всех последующих тестирований.
Шаг 2. Добавьте скрипт автоматизированного тестирования или игровой цикл
Чтобы задать для робота определенный порядок действий при проверке приложения, предоставьте скрипт автоматизированного тестирования или игровой цикл.
Как загрузить скрипт Robo, чтобы изменить процедуру проверки приложения на JavaС помощью скрипта Robo вы можете направить проверку приложения в определенное русло, например запланировать тестирование стандартного пути пользователя или нового раздела приложения, а также выполнение других действий.
Если к тестированию прикреплен скрипт, поисковый робот сначала выполняет действия из этого скрипта, а затем – стандартную проверку.
Вот как загрузить скрипт в отчет о тестировании:
- Запишите скрипт с помощью инструмента Firebase в Android Studio: Android Studio > Tools (Инструменты) > Firebase > Test Lab > Record Robo Script (Записать скрипт автоматизированного тестирования). Подробную информацию можно найти в Справочном центре Firebase.
- Примечание. Чтобы создать скрипт Robo, вам не нужен аккаунт Firebase.
- Записав скрипт, откройте Play Console.
- Выберите приложение.
- Перейдите на страницу Настройки отчета о тестировании. Для этого в меню слева нажмите Тестирование и выпуск > Тестирование > Отчет о тестировании > Настройки. Перетащите файл скрипта в раздел "Настройка выполнения отчета о тестировании" или нажмите кнопку Загрузить.
- Нажмите Сохранить.
Чтобы получить информативный отчет о тестировании игры или приложения на базе OpenGL, необходимо предоставить игровой цикл. Он определяет действия, которые будет выполнять робот. В одном приложении можно протестировать несколько игровых циклов.
Вот как использовать игровые циклы для подготовки отчета о тестировании:
- Измените игру таким образом, чтобы в ней выполнялись следующие действия:
- запуск цикла;
- выполнение цикла;
- завершение цикла (необязательно). Для изменения игры используйте собственную среду разработки. Подробную информацию можно найти в справочном центре Firebase.
- Примечание. Чтобы использовать игровые циклы в отчете о тестировании, вам не нужен аккаунт Firebase.
- Загрузите версию своей игры. Робот автоматически обнаружит и выполнит игровой цикл.
Шаг 3. Измените начальную точку тестирования, добавив ссылки на контент
Чтобы проверить дополнительные точки входа в приложение, добавьте в отчет о тестировании ссылки на контент (не более трех).
Несколько минут робот будет выполнять обычное тестирование, затем закроет приложение и в течение 30 секунд по очереди перейдет по каждой добавленной вами ссылке. Ошибки, выявленные при дополнительных проверках, будут включены в отчет в обычном режиме.
Подробную информацию о том, как создавать и тестировать ссылки на контент, можно найти на сайте Android для разработчиков.
Шаг 4. Выберите, на каких языках нужно тестировать приложение
На странице Настройки отчета о тестировании укажите языки, для которых вы хотите получать результаты проверок (не более пяти).
Примечание. Так как отчет о тестировании создается автоматически при загрузке тестовой версии набора App Bundle, добавлять языки можно только после завершения начальной проверки.
Как выбрать языки- Откройте Play Console.
- Выберите приложение.
- Перейдите на страницу Настройки отчета о тестировании. Для этого в меню слева нажмите Тестирование и выпуск > Тестирование > Отчет о тестировании > Настройки.
- В разделе "Тестирование приложения на определенных языках" выберите + Язык.
- Выберите не более пяти языков. Результаты последующих тестирований будут отображаться только для этих языков.
- Примечание. Если этого не сделать, мы автоматически выберем языки с наибольшим количеством установок приложения.
- Нажмите Сохранить.
Просмотр отчета о тестировании
В готовом отчете вы сможете посмотреть сводку о тестировании, в том числе количество обнаруженных ошибок, предупреждений и незначительных проблем, разделенных по типам. Также вы увидите рекомендации, относящиеся к запуску приложения, на основе результатов его тестирования.
Как посмотреть сводные данные из отчета о тестированииВыполните следующие действия:
- Откройте Play Console.
- Выберите приложение.
- Нажмите Тестирование и выпуск > Тестирование > Отчет о тестировании > Общие сведения.
- Проверьте все разделы:
- "Стабильность";
- Производительность
- "Доступность";
- "Безопасность и доверие".
- Если в разделе есть ошибка, выберите Показать обзор, чтобы посмотреть сведения о ней.
- Чтобы детально изучить ошибку, нажмите Подробнее.
- Предыдущие отчеты о тестировании можно найти внизу страницы в разделе "Сведения об отчете".
Примечание. Если вы видите сообщение "Тестирование не завершено", дождитесь окончания проверки. Статус "Тест не пройден" означает, что выполнить проверку не удалось. Чтобы запустить новое тестирование, опубликуйте другой набор App Bundle.
Вот как посмотреть подробные сведения, которые содержит отчет о тестировании:
- Откройте Play Console.
- Выберите приложение.
- Перейдите на страницу Сведения об отчете о тестировании. Для этого в меню слева нажмите Тестирование и выпуск > Тестирование > Отчет о тестировании > Сведения.
- Ознакомьтесь с информацией на вкладках Стабильность, Эффективность, Доступность и Скриншоты. Каждая из них содержит полные сведения о последнем тестировании, в том числе трассировку стека, скриншоты и диаграммы.
Примечание. Если вы видите сообщение "Тестирование не завершено", дождитесь окончания проверки. Статус "Тест не пройден" означает, что выполнить проверку не удалось. Чтобы запустить новое тестирование, опубликуйте другой набор App Bundle.
Часто задаваемые вопросы
Тестирования приложений
Сколько длится тестирование?Как правило, результаты проверки становятся доступны в течение часа с момента загрузки набора App Bundle, но в некоторых случаях их подготовка занимает несколько часов. Если через два дня результатов нет, загрузите объект ещё раз, чтобы создать новый отчет.
Приложения, в которых при запуске выполняется проверка
Можно ли протестировать приложение, в котором требуется подтверждение страны?В этом случае для создания отчета потребуется слегка изменить код программы.
Тестовые устройства находятся в США. Некоторые приложения используют геоданные или содержат контент, доступный не во всех регионах, поэтому результаты их тестирования могут быть неполными.
Если вы хотите проверить приложение за пределами США, опубликуйте для тестирования версию набора App Bundle, в которой не требуется определять местоположение. Убедиться, что отчеты о тестировании выполняются в Test Lab, можно двумя способами:
- Занесите в белый список группы IP-адресов, указанные в обзоре Firebase Test Lab.
- Добавьте переменную системы, как описано в разделе Modify instrumented test behavior for Test Lab (Изменение хода автоматизированного тестирования для Test Lab).
Тестовая платформа не поддерживает приложения, которые выполняют такую проверку для устройств с ОС Android.
Приложения с рекламой или возможностями совершения покупки
В моем приложении есть реклама. Повлияет ли тестирование на количество показов и кликов?Google Реклама уже исключает трафик от диапазонов адресов, указанных в отчете о тестировании. Для других рекламных сетей необходимо внести IP-адреса в список игнорируемых.
Узнать, как снизить риск мошенничества, связанного с рекламой, можно на сайте Google Developers.
Тестовые устройства не могут совершать покупки в ходе проверки. Если в ваших приложениях есть платный контент, результаты могут быть неполными.
Другие показатели
В моем приложении применена обфускация (Java) или команда strip (нативный код). Подходит ли оно для тестирования?Да. Отчет о тестировании будет создан в любом случае.
Однако обнаруженные ошибки ANR и сбои также будут зашифрованы или урезаны. Чтобы было удобнее выполнять отладку с учетом трассировки стека, рекомендуем загрузить файл деобфускации или файл отладочных символов.
Вы можете ознакомиться с дополнительной информацией о том, как загрузить такие файлы.
Нет. Тестовая платформа не поддерживает такие действия.
Чтобы проверить приложение вместе с определенным контентом, опубликуйте тестовую версию приложения с медиафайлами, встроенными в набор App Bundle.
Если вы начали открытое тестирование приложения или уже опубликовали его рабочую версию, для отчета о тестировании будет использоваться специальный идентификатор. Благодаря ему приложение сможет проходить проверку на наличие лицензии.
Если вы не запустили открытое тестирование и не опубликовали рабочую версию набора App Bundle, вы получите отчеты о тестировании, но приложение будет считаться нелицензированным. Чтобы его можно было тестировать, опубликуйте закрытую версию с отключенным сервисом лицензирования.
Тестовые устройства по умолчанию используют вертикальную ориентацию экрана. Однако если приложение работает только с горизонтальным расположением, видеоролики и скриншоты тоже будут горизонтальными.
Выбор устройства
Как выбираются устройства, на которых будет протестировано мое приложение?Мы отбираем тестовые устройства, которые широко распространены в той или иной экосистеме, учитывая ряд критериев: популярность, частота возникновения сбоев, разрешение экрана, производитель, версия ОС Android и т. д.
В этом случае они не будут учитываться в отчете о тестировании. При проверке приложения мы не станем использовать дополнительные устройства.
Отчет о тестировании формируется на основе Firebase Test Lab. Если вам нужно изменить набор тестовых устройств, проведите собственное тестирование в консоли Firebase.
Да, мы запустим приложение с помощью эмулятора, так что сканирование будет выполнено так же, как на физическом устройстве.
У нас есть телефоны, планшеты, устройства с Wear OS и компьютеры, например Chromebook. Приложения невозможно проверить непосредственно на устройствах с Android Automotive OS или устройствах Android TV.
Мы используем устройства с ОС Android 9 и выше.