З цієї статті ви дізнаєтеся, як налаштувати та сформувати звіт про тестування. Якщо ви вже створили цей звіт і хочете з’ясувати, що означають його результати, прочитайте статтю Як проаналізувати звіт про тестування.
Звіт про тестування створюється автоматично, коли ви публікуєте додаток для внутрішнього, закритого або відкритого тестування, і дає змогу виявляти проблеми, перш ніж їх помітять користувачі. До них належать:
- проблеми зі стабільністю
- проблеми із сумісністю з Android
- проблеми з продуктивністю
- проблеми зі спеціальними можливостями
- загрози безпеці
- проблеми конфіденційності
Як працює звіт про тестування
Коли ви завантажите й опублікуєте тестовий набір Android App Bundle, ми встановимо його на пристроях Android, вибраних у нашому експериментальному середовищі. Після цього ми запустимо ваш додаток і скануватимемо його впродовж кількох хвилин. Сканер виконує основні дії, як-от введення тексту, натискання або гортання. Ви також можете надати власні тести або тестові облікові дані, які має використовувати сканер.
Потім на основі отриманих результатів ми створимо звіт про тестування й видалимо ваш додаток з усіх тестових пристроїв.
Як оцінити придатність додатка для звіту про тестування
Звіт про тестування можна сформувати для будь-якого додатка, який ми можемо встановити й "просканувати". Однак певні додатки можуть вимагати незначних змін у коді. Це, наприклад, додатки, у яких потрібно підтверджувати встановлення або країну користувача. Щоб дізнатися більше, перейдіть у розділ Поширені запитання.
Зверніть увагу, що на тестових пристроях не можна тестувати додатки без основної функції запуску, зокрема панелі запуску, віджети, клавіатури й циферблати.
Створення звіту про тестування
Як запустити тестуванняЩоб створити звіт про тестування, опублікуйте додаток у версії для закритого або відкритого тестування.
Звіт про тестування автоматично формується для всіх додатків, які ви публікуєте у версії для тестування, якщо це налаштування не вимкнено. Зазвичай звіт про тестування надходить протягом години з моменту завантаження набору App Bundle. Іноді на результати доводиться чекати кілька годин.
Щоб отримувати сповіщення електронною поштою щодо доступних звітів про тестування:
- Відкрийте Play Console > Сповіщення.
- Прокрутіть сторінку вниз до пункту "Звіт про тестування" й поставте прапорець біля нього. Ви можете отримувати листи про всі тести або лише про ті з них, під час яких виявлено проблеми.
Звіти про тестування створюються автоматично, коли ви публікуєте додаток у версії для закритого або відкритого тестування. Щоб вимкнути всі звіти про тестування додатка:
- Відкрийте Play Console> Звіт про тестування > Налаштування.
- Прокрутіть сторінку вниз до розділу "Параметри" й зніміть прапорець "Увімкнути звіт про тестування".
- Натисніть Зберегти.
Налаштування тестів
Щоб звіт про тестування був якомога повніший і релевантніший, налаштуйте свої тести.
Крок 1. Надайте дані тестового облікового запису, якщо ваш додаток має екран входу
Якщо ваш додаток має екран входу й ви хочете, щоб веб-сканер перевірив контент цього екрана або можливість входу, надайте облікові дані.
Примітка. Надавати облікові дані не потрібно, якщо ваш додаток підтримує функцію "Вхід через Google" (у такому разі веб-сканер зможе ввійти автоматично) або якщо ви вже вказали їх на сторінці "Контент додатків".
Нижче наведено важливу інформацію про облікові дані для тестування.
- Облікові дані, які ви надасте, використовуватимуться лише для тестування.
- Ми робимо все можливе, щоб захистити облікові дані для тестування, але не радимо надавати дані для входу у ваш офіційний обліковий запис. Натомість створіть для такого тестування окремий обліковий запис.
- Облікові дані можуть вставлятись автоматично лише в додатки Android, які використовують стандартні віджети Android. Облікові дані не вставляються в додатках, які відображають спеціальні елементи керування за допомогою OpenGL або використовують WebView для автентифікації в Інтернеті.
- Наш сканер автоматично виконає вхід, якщо додаток підтримує функцію "Вхід через Google".
- Відкрийте Play Console.
- Виберіть додаток.
- У меню ліворуч натисніть Тестування > Звіт про тестування > Налаштування.
- У розділі "Дані тестового облікового запису" виберіть Надати облікові дані.
- Введіть наведені нижче дані.
- Ім’я користувача: ім’я користувача для тестового облікового запису.
- Пароль: пароль для тестового облікового запису.
- Натисніть Зберегти. Ці облікові дані використовуватимуться для всіх майбутніх тестувань, доки ви їх не зміните.
- Відкрийте Play Console.
- Виберіть додаток.
- У меню ліворуч натисніть Тестування > Звіт про тестування > Налаштування.
- Внесіть зміни.
- Щоб змінити облікові дані: у розділі "Дані тестового облікового запису" оновіть ім’я користувача й пароль у відповідних полях.
- Щоб вилучити облікові дані: у розділі "Дані тестового облікового запису" виберіть Не надавати облікові дані.
- Примітка: коли ви вилучите облікові дані, сканер не зможе входити в додаток для тестування, доки ви не надасте нові.
- Натисніть Зберегти. Ці облікові дані використовуватимуться для всіх майбутніх тестувань, доки ви їх не зміните.
Крок 2. Надайте скрипт Robo або ігровий цикл
Щоб указати, які дії веб-сканер має виконати під час тестування додатка, надайте скрипт Robo або ігровий цикл.
Як надати скрипт Robo, щоб налаштувати процедуру тестування додатка JavaЗа допомогою скрипту Robo ви можете вказати, які дії має виконати сканер: наприклад, перевірити новий розділ додатка або типовий шлях користувача.
Якщо надати для тестування скрипт, сканер спочатку виконує ці дії, а потім вивчає додаток як зазвичай.
Щоб надати скрипт:
- Запишіть скрипт за допомогою інструмента Firebase в Android Studio: Android Studio > Tools (Інструменти) > Firebase > Test Lab (Експериментальне середовище) > Record Robo Script (Записати скрипт Robo). Дізнатися більше можна в Довідковому центрі Firebase.
- Примітка: щоб створити скрипт Robo, обліковий запис Firebase не потрібен.
- Якщо скрипт готовий, відкрийте Play Console.
- Виберіть додаток.
- Натисніть Тестування > Звіт про тестування > Налаштування. У розділі "Як додатки вивчаються у звіті про тестування" завантажте свій скрипт. Ви можете перетягнути файл або вибрати Завантажити.
- Натисніть Зберегти.
Щоб звіт про тестування гри або додатка з інтерфейсом OpenGL був максимально корисний, надайте ігровий цикл. Він визначає дії, які має виконувати сканер. В одному додатку можна тестувати кілька ігрових циклів.
Щоб використовувати ігрові цикли у звіті про тестування:
- Змініть свою гру так, щоб виконувалися такі дії:
- запуск циклу;
- виконання циклу;
- закриття циклу (необов’язково). Ці зміни потрібно вносити в середовищі для розробки. Дізнатися більше можна в Довідковому центрі Firebase.
- Примітка: щоб використовувати ігрові цикли у звіті про тестування, обліковий запис Firebase не потрібен.
- Опублікуйте гру з ігровим циклом у версії для закритого або відкритого тестування. Веб-сканер автоматично виявить і виконає ігровий цикл.
Крок 3. Налаштуйте початкову точку тестування за допомогою посилань на контент
Ви можете додати до звіту про тестування щонайбільше три посилання на контент, щоб перевірити точки входу у свій додаток.
Веб-сканер попрацює кілька хвилин як зазвичай, після чого закриє додаток і перейде по черзі за кожним посиланням на контент. Це займе ще 30 секунд. Усі проблеми, виявлені під час цих додаткових сканувань, включаються у звіт.
Щоб дізнатися, як створювати й тестувати посилання на контент у додатку, відвідайте сайт для розробників Android.
Крок 4. Перегляньте звіти з результатами тестування для певних мов
Щоб переглянути результати тестування для певних мов, виберіть їх на сторінці Налаштування звіту про тестування. Ви можете вибрати до п’яти мов.
Підказка. Звіт про тестування створюється автоматично, щойно ви завантажите тестовий набір App Bundle. Тому додавати нові мови можна лише після початкового тестування.
Як додати налаштування мови- Відкрийте Play Console.
- Виберіть додаток.
- У меню ліворуч натисніть Тестування > Звіт про тестування > Налаштування.
- У розділі "Тестуйте додаток певними мовами" натисніть + Додати мову.
- Виберіть до п’яти мов. У майбутньому ви зможете переглядати результати тестування лише для цих мов.
- Примітка: якщо ви не виберете жодної мови, ми автоматично виберемо ті, якими ваш додаток встановлюють найчастіше.
- Натисніть Зберегти.
Перегляд звіту про тестування
З результатів звіту про тестування можна дізнатися, скільки виявлено помилок, застережень і незначних проблем. Отримані дані групуються за типом проблеми. Ви також побачите рекомендації залежно від результатів тестування додатка.
Як переглянути зведені результати звіту про тестуванняЩоб переглянути зведення звіту про тестування:
- Відкрийте Play Console.
- Виберіть додаток.
- Натисніть Тестування > Звіт про тестування > Огляд.
- Ознайомтеся з кожним розділом.
- Стабільність
- Швидкодія
- Спеціальні можливості
- Безпека і надійність
- Якщо в якомусь із розділів є дані про проблему, розгорніть його, вибравши Показати резюме.
- Щоб отримати докладну інформацію про виявлені проблеми, натисніть Показати деталі.
- Прокрутіть сторінку вниз до таблиці в розділі "Деталі звіту", щоб переглянути попередні звіти про тестування.
Примітка. Якщо ви бачите повідомлення "Триває тестування", останнє тестування ще не завершилося. Якщо не вдалося запустити останній тест, може з’явитися повідомлення "Помилка під час тестування". Щоб запустити нове тестування, опублікуйте інший набір App Bundle.
Щоб переглянути докладні результати звіту про тестування:
- Відкрийте Play Console.
- Виберіть додаток.
- Натисніть Тестування > Звіт про тестування > Відомості.
- Ознайомтеся з даними на вкладках Стабільність, Швидкодія, Спеціальні можливості, Знімки екрана й Безпека і надійність. На всіх сторінках відображаються результати останнього тесту, зокрема трасування стека, знімки екрана й діаграми.
Примітка. Якщо ви бачите повідомлення "Триває тестування", останнє тестування ще не завершилося. Якщо не вдалося запустити останній тест, може з’явитися повідомлення "Помилка під час тестування". Щоб запустити нове тестування, опублікуйте інший набір App Bundle.
Поширені запитання
Тестування додатків
Скільки часу триває тестування?Зазвичай звіт про тестування надходить протягом години з моменту завантаження набору App Bundle. Іноді на результати доводиться чекати кілька годин. Якщо минуло два дні, а звіт не надійшов, спробуйте знову завантажити артефакт. Після цього почнеться створення нового звіту.
Додатки, під час запуску яких потрібно надавати підтвердження
Чи можна створити звіт про тестування додатка, у якому потрібно підтверджувати країну користувача?Це можна зробити лише після внесення незначних змін у код додатка.
Тестові пристрої розташовано в США. Якщо ваш додаток використовує геолокацію або має обмеження щодо контенту на основі країни, ці пристрої можуть показувати лише доступні для їх місцеположення дані.
Якщо потрібно перевірити додаток за межами місцеположення тестових пристроїв, опублікуйте набір App Bundle, що скасовує вимоги до місцезнаходження на час тестування. Визначити, що звіти про тестування формуються в Експериментальному середовищі, можна у два способи:
- додайте в білий список блоки IP-адрес, наведені в огляді Експериментального середовища Firebase);
- перегляньте розділ Як змінити поведінку інструментального тестування в експериментальному середовищі та додайте системну змінну.
Тестова платформа не підтримує додатки, які перевіряють повний контроль пристрою (кореневий доступ) в Android.
Додатки, що показують оголошення або пропонують покупки
У моєму додатку показується реклама. Чи можна виключити фіксацію показів і кліків під час тестування, щоб не порушувати правила моєї рекламної мережі?Google Ads самостійно виключає трафік із діапазонів IP-адрес, з яких проводиться тестування. Якщо ви використовуєте іншу рекламну мережу, укажіть діапазони IP-адрес, які потрібно виключити.
Автоматичне тестування додатків можуть використовувати шахраї, щоб генерувати недійсний рекламний трафік. Щоб дізнатися, як цьому запобігти, відвідайте сайт Google Developers.
Покупки з тестових пристроїв не здійснюються. Якщо у вашому додатку є платний контент, результати тестування можуть бути неповні.
Додатки з іншими особливостями
Мій код обфусковано (Java) або очищено (нативний). Чи можу я сформувати звіти про тестування?Так. Ви можете формувати звіти про тестування.
Однак у такому разі результати трасування стека під час збоїв і помилок ANR, виявлених під час тестування, також буде обфусковано або очищено. Щоб результати трасування стека було легше використовувати для налагодження, радимо завантажити файл деобфускації або символізації.
Дізнайтеся більше про завантаження файлу деобфускації або символізації.
Ні. Тестова платформа не дає можливості попередньо завантажувати на пристрої медіафайли або інші додатки.
Однак якщо ви хочете протестувати додаток із попередньо завантаженими даними, опублікуйте його тестову версію, де ці медіафайли вбудовано в набір App Bundle.
Якщо додаток перебуває на стадії відкритого тестування або ви опублікували його робочу версію, у звіті про тестування використовується ідентифікатор, який слугує ліцензією додатка.
Якщо додаток не перебуває на стадії відкритого тестування або ви не опублікували робочу версію набору App Bundle, додаток не пройде перевірку ліцензії. Ви й надалі отримуватимете результати звіту про тестування, але додаток матиме статус неліцензованого. Щоб протестувати такий додаток, опублікуйте його версію для закритого тестування з вимкненим сервісом ліцензування.
За умовчанням додатки тестуються в портретній орієнтації. Однак якщо додаток заблоковано в альбомній орієнтації, відео та знімки екрана з тестування будуть у горизонтальному режимі.
Вибір пристроїв
Як ви вибираєте пристрої для тестування додатків?Тестові пристрої вибираються на основі багатьох критеріїв, зокрема репрезентативності для нашої екосистеми, популярності, частоти збоїв, роздільної здатності екрана, виробника, версії операційної системи Android тощо. Список пристроїв, які ми використовуємо для тестування, може змінюватися.
Якщо ви виключили деякі цільові пристрої в маніфесті додатка, їх також буде виключено зі звіту про тестування. У такому разі тестування вашого додатка не буде націлено на жодні додаткові пристрої.
Звіт про тестування формується в Експериментальному середовищі Firebase. Якщо потрібно змінити набір тестових пристроїв, радимо провести власні тести через Консоль Firebase.
Так, ми запустимо додаток на емуляторі й проскануємо його, як на фізичному пристрої.
Доступний нам набір пристроїв охоплює телефони, планшети, пристрої Wear OS і комп’ютери, зокрема пристрої Chromebook. Тестування додатків безпосередньо на пристроях Android Auto або Android TV не проводяться.
Ми проводимо тестування на пристроях з Android 9 і новіших версій.