Поиск проблем с помощью отчета о тестировании

Открытое или закрытое тестирование версий APK-файлов или наборов App Bundle позволяет выявлять проблемы, которые возникают в приложении на разных моделях устройств с разными версиями Android.

В отчетах о тестировании в Play Console представлена информация о таких проблемах, как:

  • проблемы со стабильностью;
  • проблемы совместимости с Android;
  • проблемы с производительностью;
  • проблемы с доступностью;
  • уязвимости.

Принцип тестирования

После загрузки и публикации APK-файла или набора App Bundle для тестирования приложение запускается на тестовых устройствах и сканируется в течение нескольких минут. При этом в приложении автоматически выполняются базовые действия, такие как ввод текста, нажатие и пролистывание.

Результаты проверки появляются в разделе Отчет о тестировании в Play Console.

Примечания

  • Тестовые устройства отбираются по ряду критериев: популярности, частоте возникновения сбоев, разрешению экрана, производителю, операционной системе и т. д.
  • Отчет о тестировании формируется по результатам анализа, выполненного в Firebase Test Lab.

Свернуть все Развернуть все

Запуск тестирования

Тестирование приложения

Чтобы получить отчет о тестировании, опубликуйте версию приложения для открытого, закрытого или внутреннего тестирования.

После этого все публикуемые тестовые версии будут проходить автоматическую проверку на совместимость с устройствами, а также на наличие ошибок и уязвимостей.

Примечания

  • Как правило, результаты проверки появляются быстро, но в некоторых случаях их подготовка занимает несколько часов.
  • Можно тестировать APK-файлы или наборы App Bundle нескольких приложений одновременно.
  • На данный момент тестовые устройства не могут запускать скрипты. Чтобы протестировать приложение с помощью скриптов, проведите собственное тестирование, следуя инструкциям ниже.
Тестирование игры

Чтобы протестировать серию определенных действий в игре, можно использовать тестовые циклы. Они позволяют использовать отчет о тестировании для игр, поскольку стандартный поисковый робот не поддерживает OpenGL.

С чего начать 

  1. Создайте тестовый цикл в игре. Подробную информацию можно найти в справочном центре Firebase.
    • Чтобы использовать тестовые циклы в отчете о тестировании, вам не нужен аккаунт Firebase.
  2. Измените игру таким образом, чтобы в ней выполнялись следующие действия:
    • запуск тестового цикла;
    • выполнение тестового цикла;
    • завершение тестового цикла (необязательно).
  3. Опубликуйте версию для открытого, закрытого или внутреннего тестирования игры с тестовым циклом. Поисковый робот автоматически обнаружит и выполнит тестовый цикл в игре.
Собственное тестирование (необязательно)

В сервисе Firebase Test Lab можно провести собственное тестирование (эта функция платная), выбрав тип устройства и метод проверки. Результаты таких тестов появляются в консоли Firebase.

Как провести собственное тестирование:

  1. Войдите в Play Console.
  2. Выберите приложение.
  3. Нажмите Управление релизом > Отчет о тестировании.
  4. В верхней части экрана вы увидите "Собственные тесты" (если эта функция доступна). Нажмите Начать.

Просмотр результатов

Вот как узнать результаты тестирования:

  1. Войдите в Play Console.
  2. Выберите приложение.
  3. Нажмите Управление релизом > Отчет о тестировании.
  4. Просмотрите вкладки Стабильность, Производительность, Доступность, Скриншоты и Безопасность. Чтобы просмотреть данные предыдущих проверок, воспользуйтесь раскрывающимся списком "Выбрать".
    • Примечание. Если вы видите сообщение "Тестирование не завершено", дождитесь его окончания. Статус "Тест не пройден" означает, что провести проверку не удалось. Чтобы начать новое тестирование, загрузите другой APK-файл или набор App Bundle.

Результаты

Внимание! Google не гарантирует, что при проверке будут выявлены все ошибки.

Обзор
В каждой сводке указывается количество обнаруженных во время тестирования ошибок, предупреждений и незначительных проблем, разделенных по типу проблемы. Также вы увидите рекомендации, основанные на результатах тестирования вашего приложения.
Ниже приведены примеры проблем, которые могут быть обнаружены во время тестирования.
  • Ошибки: сбои, наличие неподдерживаемых ограниченных API.
  • Предупреждения: ошибки ANR, медленный запуск и загрузка приложения, проблемы со входом, сканированием и памятью, наличие неподдерживаемых, но ещё не ограниченных API.
  • Незначительные проблемы: пропущенные ярлыки контента, проблемы, связанные с цветовым контрастом, слишком маленький размер интерактивных элементов, ошибки реализации.

Просмотр отчетов по категориям

В нижней части вкладки Общие сведения доступны карточки с обзором проблем, связанных со стабильностью, производительностью, безопасностью, конфиденциальностью и доступностью приложения. В зависимости от результатов тестирования может также отображаться статистика и рекомендации, которые помогут улучшить приложение.

На каждой карточке приведено описание ошибок, обнаруженных во время тестирования, в том числе их количество и тип.

Просмотр информации об отдельных проблемах

Чтобы просмотреть короткое описание проблем, на карточке выберите Все проблемы или в ее правом нижнем углу нажмите на стрелку вниз. Чтобы получить дополнительную информацию об определенной проблеме, нажмите Подробнее о проблеме.

Сравнение результатов разных проверок

График в нижней части вкладки Общие сведения показывает результаты тестирования по сравнению с предыдущими версиями. Для каждого APK-файла или набора App Bundle указано количество ошибок, предупреждений, незначительных проблем и выполненных тестов, а также время создания отчета.

Советы по использованию отчетов о тестировании

В нижней части вкладки Общие сведения приведены рекомендации и советы по эффективному использованию отчетов о тестировании.

Стабильность

В каждой сводке указывается количество:

  • устройств, на которых возникли проблемы;
  • устройств, на которых проблем не возникало;
  • устройств, на которых прошло тестирование.

Сравнение результатов разных проверок

График на вкладке Стабильность показывает совместимость приложения по сравнению с предыдущими сборками.

Столбцы на графике – это протестированные версии APK-файла или набора App Bundle. Для каждой из них указано количество успешных и неудачных запусков приложения.

Просмотр отдельных отчетов

В нижней части вкладки Стабильность доступны отдельные отчеты по устройствам с разными версиями Android.

В каждой строке есть название тестового устройства, версия операционной системы, а также значок зеленого или красного цвета.

  • Красный значок указывает на то, что в ходе тестирования возникали проблемы.
  • Зеленый – на то, что проблем во время тестирования не возникало.

Чтобы узнать подробности, выберите тестирование. Вы увидите его продолжительность, название устройства, версию операционной системы, скриншот и видеоролик, а также результат тестового цикла и трассировки стека (если они есть).

Примечание. В разделе Ошибки ANR и сбои также перечислены сбои, выявленные во время тестирования приложения. Однако поскольку такие сбои поступают с тестирующих устройств, они не влияют на статистику сбоев.

Совместимость с Android

Если в приложении используются интерфейсы не из общедоступного пакета разработчика Android (неподдерживаемые), на вкладках Общие сведения и Стабильность появятся ошибки и предупреждения.

Просмотр информации об отдельных проблемах

Чтобы определить, какие неподдерживаемые интерфейсы используются, нажимайте на ссылки Просмотреть проблемы рядом с ошибками и предупреждениями о совместимости с ОС в отчете о тестировании. Чтобы узнать, какая часть приложения вызывает такой интерфейс, нажмите на стрелку вниз рядом с ним и просмотрите трассировки стека. При тестировании один интерфейс может вызываться несколько раз.

Неподдерживаемые интерфейсы классифицируются по уровню важности. Чтобы избежать проблем со стабильностью, рекомендуется вообще не использовать неподдерживаемые интерфейсы. Но по уровням важности можно определить, какие проблемы нужно решить в первую очередь.

Приоритетность проблем:

  1. Ограниченные. Такие интерфейсы не будут работать не всех или нескольких версиях Android.
  2. Неподдерживаемые, которые будут ограничены в будущем. Такие интерфейсы могут не работать и будут ограничены в следующих выпусках Android.
  3. Неподдерживаемые, которые не обязательно будут ограничены в будущем. Такие интерфейсы могут не работать.

Примечание. В каждой категории интерфейсы упорядочены по частоте использования, благодаря чему проще определить, какие проблемы нужно решить в первую очередь.

Производительность

Сводка для каждой модели устройства содержит следующие показатели:

Примечание. Устройства с более ранними версиями Android не передают данные о производительности.

Просмотр отдельных отчетов

Выберите модель устройства, чтобы просмотреть график и данные распределения каждого показателя во время тестирования.

Например, если вы просматриваете процент использования процессора и замечаете резкий скачок, проверьте, какое действие выполнял поисковый робот в тот момент. Это поможет решить проблему.

Доступность

В каждой сводке указывается количество обнаруженных во время тестирования ошибок, связанных с доступностью, а также предупреждений и незначительных проблем, разделенных по типу проблемы.

Просмотр отчетов по категориям

В нижней части вкладки Доступность вы найдете разделы с распределенными по категориям кластерами экрана, которые показывают, какие проблемы с доступностью были обнаружены в приложении.

  • Если обнаружены ошибки, отображается красный значок.
  • Если обнаружены предупреждения, отображается оранжевый значок.
  • Если обнаружены незначительные проблемы, отображается синий значок.
  • Если проблем не обнаружено, отображается зеленый флажок.

Просмотр информации об отдельных проблемах

Чтобы просмотреть скриншоты с соответствующими названиями моделей устройств, операционными системами, размерами и разрешениями экрана, языками, а также рекомендации, нажмите на кластер экрана.

Улучшение доступности приложения

Скриншоты

Результаты тестирования

  • Примеры того, как выглядит приложение на устройствах с разными языковыми настройками.
  • Метаданные тестовых устройств (модель, версия Android, язык, разрешение экрана и количество DPI).
  • Количество устройств со скриншотами.
  • Количество устройств, на которых не удалось протестировать APK-файл или набор App Bundle.
    • Устройства недоступны. APK-файл или набор App Bundle совместим с устройствами, но при тестировании произошла ошибка. В этом случае советуем загрузить другой APK-файл или набор App Bundle и выполнить проверку ещё раз.
    • Устройства несовместимы. APK-файл или набор App Bundle несовместим с определенными устройствами. При дальнейших проверках результаты по этим устройствам показаны не будут.

Примечание. Если выполняется тестирование с использованием тестовых циклов, данные на вкладке Скриншоты недоступны.

Скриншоты приложения

  • Чтобы посмотреть скриншоты экранов приложения на разных устройствах, откройте вкладку Кластеры экрана. Отчет о тестировании группирует изображения по элементам или виджетам на экране.
  • Чтобы посмотреть скриншоты с определенной модели телефона или планшета, перейдите на вкладку Устройства. На ней вы найдете снимки, сделанные в порядке тестирования экранов приложения.

Выбор языка

Чтобы просматривать локализованные скриншоты, выберите нужные языки на вкладке Настройки

Безопасность

Каждая сводка включает название и описание уязвимостей, обнаруженных в APK-файле или наборе App Bundle.

Примечание. Мы рекомендуем устранить все уязвимости, прежде чем публиковать рабочую версию APK-файла или набора App Bundle.

Управление настройками отчета о тестировании

Версии отчета о тестировании

С октября 2017 г. в отчете о тестировании используется новый поисковый робот, который позволяет глубже анализировать приложения. Для новых отчетов необходимо временно изменить ключ подписи APK-файлов или наборов App Bundle в нашей среде тестирования.

Возможные ошибки обновленного процесса тестирования

Из-за изменения ключа подписи в некоторых приложениях могут возникать ошибки, например:

  • Сбои автоматического входа в аккаунт Google.
  • Неправильное взаимодействие с RPC веб-служб, которые используют ключ подписи приложения для аутентификации.
  • Пропуск части сбоев.

Примечание. В большинстве приложений эти ошибки не возникают, и новый поисковый робот находит больше сбоев, чем предыдущий.

Переключение на предыдущую версию отчета о тестировании

Если у вас возникают ошибки, можно вернуться к предыдущей версии отчета о тестировании (без изменения ключа подписи). Для этого выполните следующие действия: 

  1. Войдите в Play Console.
  2. Выберите приложение.
  3. Выберите Управление релизом > Отчет о тестировании > Настройки.
  4. В разделе "Версия отчета о тестировании" переместите переключатель Отключить вправо (он должен стать синим).
Отключение всех отчетов о тестировании

Отчеты о тестировании создаются автоматически, когда вы публикуете версию приложения для открытого, закрытого или внутреннего тестирования. Чтобы отключить все эти отчеты, выполните следующие действия:

  1. Войдите в Play Console.
  2. Выберите приложение.
  3. Выберите Управление релизом > Отчет о тестировании > Настройки.
  4. Переместите переключатель "Включить отчеты о тестировании" влево (он должен стать серым). Чтобы снова включить отчеты о тестировании, переместите переключатель вправо (он должен стать синим).

Дополнительные возможности тестирования

Если для входа в приложение требуется указывать учетные данные, добавьте в Play Console данные тестового аккаунта.

Важно! Эти учетные данные предназначены только для тестирования. Даже при их наличии Google не гарантирует, что во время проверки будут выявлены все ошибки.

Как используются учетные данные?

Учетные данные, предоставленные для тестирования, сохраняются и используются во время всех последующих проверок. Вы можете изменить эти данные, и тогда тестирование будет проходить с использованием обновленных данных. Также их можно удалить, но для будущих проверок вам потребуется указать новое имя пользователя и пароль.

Мы прилагаем все усилия, чтобы сохранить конфиденциальность учетных данных для тестирования. Тем не менее мы рекомендуем использовать с этой целью не личные учетные данные, а специальный тестовый аккаунт.

Примечание. Учетные данные доступны только для автоматического ввода в приложениях со стандартными виджетами Android и не подходят для тестирования приложений, которые используют OpenGL на экране входа или компонент WebView для веб-аутентификации.

Настройка учетных данных

  1. Войдите в Play Console.
  2. Выберите приложение.
  3. В меню слева нажмите Управление релизом > Отчет о тестировании > Настройки.
  4. Укажите следующие сведения:
    • Название ресурса для текстового поля, в которое нужно вводить имя пользователя (например, для текстового поля @+id/username_field укажите username_field). Подробнее о доступе к ресурсам
    • Имя пользователя тестового аккаунта.
    • Название ресурса для текстового поля, в которое нужно вводить пароль. Подробнее о доступе к ресурсам
    • Пароль тестового аккаунта.
    • Название ресурса для кнопки, которую нужно нажать после ввода учетных данных. (Подробнее о доступе к ресурсам…) Это может быть кнопка, которая запускает процесс входа в аккаунт. Данное поле заполнять необязательно.
  5. Сохраните изменения.

Изменение или удаление учетных данных

  1. Войдите в Play Console.
  2. Выберите приложение.
  3. В меню слева нажмите Управление релизом > Отчет о тестировании > Настройки.
  4. В появившемся окне выполните одно из следующих действий:
    • Чтобы изменить учетные данные, введите новые.
    • Чтобы удалить учетные данные, нажмите Очистить все поля.
  5. Сохраните изменения.
Просмотр результатов на определенных языках

Чтобы в отчете о тестировании результаты отображались только на определенных языках, укажите их на вкладке Настройки (не более пяти). 

Совет. Поскольку отчет о тестировании создается автоматически при загрузке тестовой версии APK-файла или набора App Bundle, добавлять языки можно только после завершения начального тестирования.  

  1. Войдите в Play Console.
  2. Выберите приложение.
  3. В меню слева нажмите Управление релизом > Отчет о тестировании > Настройки.
  4. В разделе "Выбор языка" нажмите Добавить язык .
  5. Результаты последующих тестирований будут отображаться только на указанных языках. (Можно добавить не более пяти).
    • Чтобы удалить язык, нажмите на значок отмены .
Настройка выполнения отчета о тестировании

Чтобы направить тестирование в определенное русло, можно настроить скрипты Robo на выполнение конкретных действий, например тестирования стандартного пути пользователя или нового раздела приложения. При стандартном тестировании поисковый робот может не выполнять таких действий.

Если к тестированию прикреплен скрипт, поисковый робот сначала выполняет действия из этого скрипта, а затем – стандартную проверку.

С чего начать

  1. Чтобы записать скрипт, следуйте инструкциям в справочном центре Firebase. Записи скриптов Robo не охватывают действий вне тестируемого приложения.
    • Для запуска скрипта Robo не нужен аккаунт Firebase.
  2. Записав скрипт, войдите в Play Console.
  3. Выберите приложение.
  4. Нажмите Управление релизом > Отчет о тестировании.
  5. Перейдите на вкладку Настройки.
  6. В разделе "Скрипт Robo" загрузите скрипт.

Свернуть все Развернуть все

Часто задаваемые вопросы

Мое приложение недоступно пользователям вне определенных стран. Как убедиться, что отчет о тестировании будет создан?

Есть два способа: 

В моем приложении есть реклама. Повлияет ли тестирование на количество показов и кликов?

Google Реклама исключает трафик от диапазона адресов, указанных в тестировании. Для других рекламных сетей необходимо внести IP-адреса в список игнорируемых

В моем приложении применена обфускация. Подходит ли оно для тестирования?

Да. Отчет о тестировании будет создан в любом случае.

Однако обнаруженные ошибки ANR и сбои также будут зашифрованы. Чтобы выполнить отладку было проще, загрузите файл преобразования вместе с APK.

Подробнее о загрузке файла преобразования для деобфускации ошибок приложения…

Советы и поддержка

Приложения, которые определяют местоположение

Тестовые устройства находятся в США. Некоторые приложения используют геоданные или содержат контент, доступный не во всех регионах, поэтому результаты их тестирования могут быть неполными.

Если приложению требуется определять местоположение за пределами США, опубликуйте версию APK-файла или набора App Bundle для тестирования без этого ограничения.

Подписки и контент для продажи через приложение

Тестовые устройства не могут совершать покупки в ходе проверки. Если в ваших приложениях есть платный контент, результаты могут быть неполными.

Фоновые приложения (виджеты, клавиатуры и т. д.)

Некоторые приложения при запуске не выполняют никаких действий (например, панели быстрого доступа, виджеты, экранные клавиатуры и циферблаты). Проверить совместимость таких программ с тестовыми устройствами нельзя.

Приложения с медийной рекламой

Узнать, как снизить риск мошенничества, связанного с рекламой, можно на сайте Google Developers.

Приложения, скомпилированные для устройств с процессором семейства x86

Поскольку поддерживаются только ARM-устройства, APK-файлы для устройств на базе процессора x86 будут считаться несовместимыми с любыми устройствами.

Приложения для Wear OS by Google, Auto, TV и устаревших версий Android

Поддерживаются только телефоны и планшеты, поэтому невозможно протестировать приложения непосредственно в Wear OS by Google, Auto или TV. Это также невозможно сделать на устройствах Android с версиями до 4.1.1 (Jelly Bean).

Приложения на базе платформ OpenGL и Unity3D

На данный момент наш поисковый робот не может определять элементы интерфейса в приложениях на базе платформ OpenGL и Unity3D. В ходе тестирования приложение запустится и автоматически закроется через несколько секунд.

Чтобы проверить серию определенных действий в игре, можно использовать тестовые циклы.

Приложения с предварительно загруженным медиафайлами или предварительно установленными дополнительными приложениями

Тестовая платформа не поддерживает эти типы приложений.

Если вы хотите проверить приложение вместе с определенным контентом, опубликуйте версию для тестирования с медиафайлами, встроенными в APK-файл или набор App Bundle.

Приложения, использующие сервис лицензирования Google Play

Если вы проводите открытое тестирование приложения или уже опубликовали его рабочую версию, то для отчета о тестировании будет использоваться специальный идентификатор. Благодаря ему приложение сможет проходить проверку на наличие лицензии.

Если вы не проводите открытое тестирование и не опубликовали рабочую версию APK-файла, то будете получать отчеты о тестировании, но приложение будет считаться нелицензированным. Чтобы его можно было тестировать, опубликуйте закрытую версию с отключенным сервисом лицензирования. 

Приложения, использующие горизонтальную ориентацию

Тестовые устройства по умолчанию используют вертикальную ориентацию экрана. Обратите внимание, что приложение с горизонтальной ориентацией может быть принудительно запущено в вертикальном режиме.

Приложения, которые проверяют устройства на наличие root-доступа

Тестовая платформа не поддерживает приложения, которые выполняют такую проверку для устройств с ОС Android.

Оповещения об отчетах

Хотите получать оповещения о готовых отчетах? Измените настройки электронной почты в Play Console. Вы можете получать письма обо всех отчетах или только об отчетах по приложениям с ошибками.

Эта информация оказалась полезной?
Как можно улучшить эту статью?