Как выявить проблемы с помощью отчета о тестировании

Эта статья посвящена тому, как настроить и создать отчет о тестировании. Если вы уже получили его и хотите понять, как толковать результаты, ознакомьтесь со статьей Как разобраться в отчете о тестировании.

Отчет создается автоматически, когда вы публикуете приложение для внутреннего, закрытого или открытого тестирования. Он позволяет выявить проблемы в приложении, прежде чем оно станет доступно пользователям. Отчет содержит результаты тестирования, которое нацелено на обнаружение следующего:

  • проблем со стабильностью;
  • проблем совместимости с Android;
  • проблем с производительностью;
  • проблем с доступностью;
  • уязвимостей;
  • проблем с конфиденциальностью.

Принцип тестирования

После загрузки и публикации тестовой версии набора Android App Bundle мы устанавливаем приложение на различных устройствах Android. Затем оно автоматически запускается и сканируется в течение нескольких минут. В это время робот выполняет в приложении базовые действия, такие как ввод текста, нажатие и пролистывание. Если вы предоставите нам собственные тесты и учетные данные тестового аккаунта, робот сможет также использовать их при проверке.

По окончании тестирования мы создаем отчет с результатами и удаляем ваше приложение со всех устройств.

Как проверить, подходит ли ваше приложение для тестирования

Мы создадим отчет о тестировании, если сможем установить и просканировать ваше приложение. В некоторых случаях вам нужно будет внести небольшие изменения в программный код, например, если для приложения требуется подтверждение страны или установки. Подробную информацию можно найти в разделе часто задаваемых вопросов.

Учтите, что на тестовых устройствах невозможно проверить фоновые приложения, такие как панели запуска, виджеты, клавиатуры и циферблаты.

 

Свернуть все Развернуть все

Создание отчета о тестировании

Тестирование приложения

Чтобы создать отчет о тестировании, опубликуйте приложение для закрытого или открытого тестирования.

Отчеты для любого приложения, опубликованного для тестирования, будут приходить вам автоматически, пока вы не откажетесь от их получения. Как правило, результаты проверки становятся доступны в течение часа с момента загрузки набора App Bundle, но в некоторых случаях их подготовка занимает несколько часов.

Уведомления по электронной почте о создании отчетов

Чтобы получать по электронной почте уведомления о готовых отчетах о тестировании, выполните следующие действия:

  1. Откройте Play Console.
  2. Нажмите Настройка > Уведомления.
  3. Прокрутите страницу вниз до параметра Отчет о тестировании и установите флажок рядом с ним. Вы можете получать письма обо всех отчетах или только об отчетах по приложениям с ошибками.
Отключение отчетов о тестировании

Отчеты о тестировании создаются автоматически, когда вы публикуете версию приложения для закрытого или открытого тестирования. Чтобы отключить все эти отчеты, выполните следующие действия:

  1. Откройте Play Console.
  2. Выберите приложение.
  3. Нажмите Тестирование > Отчет о тестировании > Настройки.
  4. Прокрутите экран вниз до раздела "Настройки" и снимите флажок Включить отчет о тестировании.
  5. Нажмите Сохранить.

Настройка тестирования

Чтобы в отчете была представлена более полная и полезная для вас информация, вы можете настроить проверки в соответствии со своими потребностями.

Шаг 1. Если в приложении есть экран входа, укажите учетные данные тестового аккаунта

Если вы хотите, чтобы робот проверил процесс входа или сопутствующий контент, укажите учетные данные аккаунта. Обратите внимание, что если приложение поддерживает функцию "Войти с аккаунтом Google", то робот автоматически выполнит вход. В этом случае указывать учетные данные не нужно.

При тестировании с использованием учетных данных важно помнить следующее:

  • Учетные данные, которые вы предоставляете, используются только для тестирования.
  • Мы прилагаем все усилия, чтобы сохранить их конфиденциальность, однако не рекомендуем указывать личные учетные данные. Вместо этого создайте специальный тестовый аккаунт.
  • Учетные данные вводятся автоматически только в приложениях со стандартными виджетами Android и не подходят для тестирования приложений, которые используют OpenGL на экране входа или компонент WebView для веб-аутентификации.
  • Если приложение поддерживает функцию "Войти с аккаунтом Google", робот выполнит вход автоматически.
Настройка учетных данных
  1. Откройте Play Console.
  2. Выберите приложение.
  3. В меню слева нажмите Тестирование > Отчет о тестировании > Настройки.
  4. В разделе "Учетные данные тестового аккаунта" выберите Предоставить учетные данные.
  5. Укажите следующие сведения: 
    • Имя пользователя для тестового аккаунта. 
    • Пароль для тестового аккаунта.
  6. Нажмите Сохранить. Пока вы не измените учетные данные, они будут использоваться для всех последующих тестирований.
Изменение или удаление учетных данных
  1. Откройте Play Console.
  2. Выберите приложение.
  3. В меню слева нажмите Тестирование > Отчет о тестировании > Настройки.
  4. Внесите изменения:
    • Чтобы изменить учетные данные, в разделе "Учетные данные тестового аккаунта" введите новые имя пользователя и пароль в соответствующих полях.
    • Чтобы удалить учетные данные, в разделе "Учетные данные тестового аккаунта" выберите Не предоставлять учетные данные
      • Примечание. Если вы удалите учетные данные тестового аккаунта, то вам потребуется добавить их снова, когда возникнет необходимость в проверке, для проведения которой роботу нужно войти в приложение.
  5. Нажмите Сохранить. Пока вы не измените учетные данные, они будут использоваться для всех последующих тестирований.

Шаг 2. Предоставьте скрипт Robo или игровой цикл

Если вы хотите, чтобы при тестировании приложения робот выполнял определенные действия, предоставьте скрипт Robo или игровой цикл.

Как загрузить скрипт Robo, чтобы изменить процедуру проверки приложения на Java

С помощью скрипта Robo вы можете направить проверку приложения в определенное русло, например запланировать тестирование стандартного пути пользователя или нового раздела приложения, а также выполнение других действий.

Если к тестированию прикреплен скрипт, поисковый робот сначала выполняет действия из этого скрипта, а затем – стандартную проверку.

Вот как загрузить скрипт в отчет о тестировании:

  1. Запишите скрипт с помощью инструмента Firebase в Android Studio: Android Studio > Tools (Инструменты) > Firebase > Test Lab > Record Robo Script (Записать скрипт Robo). Подробную информацию можно найти в Справочном центре Firebase.
    • Примечание. Чтобы создать скрипт Robo, вам не нужен аккаунт Firebase.
  2. Записав скрипт, откройте Play Console.
  3. Выберите приложение.
  4. Нажмите Тестирование > Отчет о тестировании > Настройки. Перетащите файл скрипта в раздел "Настройка выполнения отчета о тестировании" или нажмите кнопку Загрузить.
  5. Нажмите Сохранить.
Как загрузить игровой цикл, чтобы протестировать приложение или игру на базе OpenGL

Чтобы получить информативный отчет о тестировании игры или приложения на базе OpenGL, необходимо предоставить игровой цикл. Он определяет действия, которые будет выполнять робот. В одном приложении можно протестировать несколько игровых циклов.

Вот как использовать игровые циклы для подготовки отчета о тестировании:

  1. Измените игру таким образом, чтобы в ней выполнялись следующие действия:
    • запуск цикла;
    • выполнение цикла;
    • завершение цикла (необязательно). Для изменения игры используйте собственную среду разработки. Подробную информацию можно найти в справочном центре Firebase.
      • Примечание. Чтобы использовать игровые циклы в отчете о тестировании, вам не нужен аккаунт Firebase.
  2. Опубликуйте версию игры с игровым циклом для закрытого или открытого тестирования. Робот автоматически обнаружит и выполнит игровой цикл.

Шаг 3. Измените начальную точку тестирования, добавив ссылки на контент

Чтобы проверить дополнительные точки входа в приложение, добавьте в отчет о тестировании ссылки на контент (не более трех).

Несколько минут робот будет выполнять обычное тестирование, затем закроет приложение и в течение 30 секунд по очереди перейдет по каждой добавленной вами ссылке. Ошибки, выявленные при дополнительных проверках, будут включены в отчет в обычном режиме.

Подробную информацию о том, как создавать и тестировать ссылки на контент для приложения, можно найти на сайте для разработчиков Android.

Шаг 4. Ознакомьтесь с отчетами о тестировании для определенных языков

Чтобы посмотреть результаты тестирования для определенных языков, укажите их на странице Настройки отчета о тестировании. Можно выбрать не более пяти языков.

Совет. Так как отчет о тестировании создается автоматически при загрузке тестовой версии набора App Bundle, добавлять языки можно только после завершения начального тестирования.  

Как выбрать языки
  1. Откройте Play Console.
  2. Выберите приложение.
  3. В меню слева нажмите Тестирование > Отчет о тестировании > Настройки.
  4. В разделе "Тестирование приложений на определенных языках" выберите + Добавить язык.
  5. Выберите не более пяти языков. Результаты последующих тестирований будут отображаться только для этих языков.
    • Примечание. Если этого не сделать, мы автоматически выберем языки с наибольшим количеством установок приложения.
  6. Нажмите Сохранить.

Просмотр отчета о тестировании

В готовом отчете вы сможете посмотреть сводку о тестировании, в том числе количество обнаруженных ошибок, предупреждений и незначительных проблем, разделенных по типам. Также вы увидите рекомендации, относящиеся к запуску приложения, на основе результатов его тестирования.

Как посмотреть сводные данные из отчета о тестировании

Выполните следующие действия:

  1. Откройте Play Console.
  2. Выберите приложение.
  3. Нажмите Тестирование > Отчет о тестировании > Общие сведения.
  4. Проверьте все разделы:
    • "Стабильность"; 
    • "Производительность"; 
    • "Доступность";
    • "Безопасность и доверие". 
  5. Если в разделе есть ошибка, выберите Показать обзор, чтобы посмотреть сведения о ней.
  6. Чтобы детально изучить ошибку, нажмите Показать подробную информацию.
  7. Предыдущие отчеты о тестировании можно найти внизу страницы в разделе "Сведения об отчете".

Примечание. Если вы видите сообщение "Тестирование не завершено", дождитесь его окончания. Статус "Тест не пройден" означает, что выполнить проверку не удалось. Чтобы запустить новое тестирование, опубликуйте другой набор App Bundle.

Просмотр подробных сведений из отчета

Вот как посмотреть подробные сведения, которые содержит отчет о тестировании:

  1. Откройте Play Console.
  2. Выберите приложение.
  3. Нажмите Тестирование > Отчет о тестировании > Сведения.
  4. Ознакомьтесь с информацией на вкладках Стабильность, Производительность, Доступность, Скриншоты, а также Безопасность и доверие. Каждая из них содержит полные сведения о последнем тестировании, в том числе трассировку стека, скриншоты и диаграммы.

Примечание. Если вы видите сообщение "Тестирование не завершено", дождитесь его окончания. Статус "Тест не пройден" означает, что выполнить проверку не удалось. Чтобы запустить новое тестирование, опубликуйте другой набор App Bundle.

Часто задаваемые вопросы

Свернуть все Развернуть все

Тестирования приложений

Сколько длится тестирование?

Как правило, результаты проверки становятся доступны в течение часа с момента загрузки набора App Bundle, но в некоторых случаях их подготовка занимает несколько часов. Если через два дня результатов нет, загрузите объект ещё раз, чтобы создать новый отчет.

Приложения, в которых при запуске выполняется проверка

Можно ли протестировать приложение, в котором требуется подтверждение страны?

В этом случае для создания отчета потребуется слегка изменить код программы.

Тестовые устройства находятся в США. Некоторые приложения используют геоданные или содержат контент, доступный не во всех регионах, поэтому результаты их тестирования могут быть неполными.

Если вы хотите проверить приложение за пределами США, опубликуйте для тестирования версию набора App Bundle, в которой не требуется определять местоположение. Убедиться, что отчеты о тестировании выполняются в Test Lab, можно двумя способами:

Можно ли протестировать приложение, которое проверяет устройства на наличие root-доступа?

Тестовая платформа не поддерживает приложения, которые выполняют такую проверку для устройств с ОС Android.

Приложения с рекламой или возможностями совершения покупки

В моем приложении есть реклама. Повлияет ли тестирование на количество показов и кликов?

Google Реклама исключает трафик от диапазона адресов, указанных в тестировании. Для других рекламных сетей необходимо внести IP-адреса в список игнорируемых.

Если ли какие-то особые требования к тестированию приложений с медийными объявлениями?

Узнать, как снизить риск мошенничества, связанного с рекламой, можно на сайте Google Developers.

Можно ли тестировать покупку подписок или контента?

Тестовые устройства не могут совершать покупки в ходе проверки. Если в ваших приложениях есть платный контент, результаты могут быть неполными.

Другие показатели

В моем приложении применена обфускация (Java) или команда strip (нативный код). Подходит ли оно для тестирования?

Да. Отчет о тестировании будет создан в любом случае.

Однако обнаруженные ошибки ANR и сбои также будут зашифрованы или урезаны. Чтобы трассировку стека было удобнее исправлять, рекомендуем загрузить файл деобфускации или файл отладочных символов.

Вы можете ознакомиться с дополнительной информацией о том, как это сделать.

Можно ли предварительно загрузить на тестовые устройства медиафайлы или дополнительные предустановленные приложения?

Нет. Тестовая платформа не поддерживает такие действия.

Чтобы проверить приложение вместе с определенным контентом, опубликуйте тестовую версию приложения с медиафайлами, встроенными в набор App Bundle.

Что, если в моем приложении используется сервис лицензирования Google Play?

Если вы начали открытое тестирование приложения или уже опубликовали его рабочую версию, для отчета о тестировании будет использоваться специальный идентификатор. Благодаря ему приложение сможет проходить проверку на наличие лицензии.

Если вы не запустили открытое тестирование и не опубликовали рабочую версию набора App Bundle, вы получите отчеты о тестировании, но приложение будет считаться нелицензированным. Чтобы его можно было тестировать, опубликуйте закрытую версию с отключенным сервисом лицензирования.

Можно ли тестировать приложения, использующие горизонтальную ориентацию?

Тестовые устройства по умолчанию используют вертикальную ориентацию экрана. Однако если приложение работает только с горизонтальным расположением, видеоролики и скриншоты тоже будут горизонтальными.

Выбор устройства

Как выбираются устройства, на которых будет протестировано мое приложение?

Мы отбираем тестовые устройства, которые широко распространены в той или иной экосистеме, учитывая ряд критериев: популярность, частота возникновения сбоев, разрешение экрана, производитель, версия ОС Android и т. д.

Что если некоторые устройства исключены из таргетинга в моем манифесте приложения?

В этом случае они также будут исключены из тестирования, но мы не добавим в таргетинг дополнительные устройства, указанные в манифесте.

Можно ли изменить набор тестовых устройств?

Отчет о тестировании формируется на основе Firebase Test Lab. Если вам нужно изменить набор тестовых устройств, проведите собственное тестирование в консоли Firebase.

Можно ли протестировать приложения, скомпилированные для устройств с процессором семейства x86?

Поскольку тестирование проводится только на ARM-устройствах, приложения для устройств на базе процессора x86 будут считаться несовместимыми.

Можно ли создавать отчеты о тестировании приложений для Wear OS, Android Auto, Android TV и устройств с более ранними версиями Android?

Тестирование проводится только на телефонах и планшетах, поэтому невозможно проверить приложения непосредственно в Wear OS, Android Auto или Android TV. Устройства с версиями Android до 4.1.1 (Jelly Bean) также не поддерживаются.

Эта информация оказалась полезной?
Как можно улучшить эту статью?

Требуется помощь?

Войдите в свой аккаунт, чтобы мы могли предоставить вам дополнительные варианты поддержки и быстрее решить вашу проблему.

Поиск
Удалить поисковый запрос
Закрыть поиск
Приложения Google
Главное меню
Поиск по Справочному центру
true
92637
false