運用正式發布前測試報告找出問題

只要將 APK 或應用程式套件上傳到開放式或封閉式測試群組,您就可以檢查應用程式在各種不同版本、機型的 Android 裝置上執行時是否有任何問題。

Play 管理中心的正式發布前測試報告可協助您找出以下問題:

  • 穩定性問題
  • Android 相容性問題
  • 效能問題
  • 協助工具問題
  • 安全性漏洞

正式發佈前測試報告的運作方式

當您上傳或發佈測試版 APK 或應用程式套件後,測試裝置會自動啟動該應用程式並進行幾分鐘的檢索作業。檢索器每隔幾秒就會對應用程式執行基本操作,例如打字、輕觸和滑動等等。

測試完成後,您可以在 Play 管理中心的「正式發佈前測試報告」部分中查看測試結果

注意事項

  • 我們選擇測試裝置時參考了各種條件,包括使用者數量、當機頻率、螢幕解析度、製造商、作業系統等等,因此選擇的測試裝置可能不盡相同。
  • 正式發佈前測試報告採用 Firebase Test Lab for Android 版的分析技術。

全部收合 全部展開

執行正式發佈前測試報告

測試應用程式

如要產生應用程式的正式發佈前測試報告,請將應用程式發佈至開放式、封閉式或內部測試群組

系統會自動為您日後發佈至測試群組的所有應用程式版本測試裝置相容性、畫面顯示問題、效能問題和安全性漏洞。

注意

  • 一般來說,您在上傳 APK 或應用程式套件後不久即可收到測試結果。不過在某些情況下,上傳後可能需要經過幾個小時才能收到結果。
  • 您可以同時測試多個應用程式的 APK 或應用程式套件。
  • 正式發佈前測試報告裝置目前無法對應用程式執行腳本測試。如要進行腳本測試,請依照「透過 Firebase Test Lab for Android 版建立自訂測試」底下的操作說明進行。
測試遊戲

您可以使用連貫動作示範來測試遊戲中一連串預先定義的動作。由於標準檢索器不支援 OpenGL,因此建議使用連貫動作示範來測試遊戲過程並產生相關的正式發佈前測試報告。

做法如下:

  1. 在遊戲中建立連貫動作示範。如需瞭解詳情,請前往 Firebase 說明中心.。
    • 注意:您無需具備 Firebase 帳戶,也可在正式發佈前測試報告中使用連貫動作示範。
  2. 如要在正式發佈前測試報告中使用連貫動作示範,您的遊戲必須進行修改以執行以下操作:
    • 啟動連貫動作示範
    • 執行連貫動作示範
    • 關閉連貫動作示範 (選用)
  3. 將含有連貫動作示範的遊戲版本發佈至開放式、封閉式或內部測試群組。檢索器就會自動偵測並執行遊戲中的連貫動作示範。
選用:透過 Firebase Test Lab for Android 版建立自訂測試

透過 Firebase Test Lab,您可以付費選取裝置類型和測試方法,建立自訂測試。測試完成後,系統會在 Firebase Console 中顯示測試結果。

如何執行自訂測試:

  1. 登入 Play 管理中心
  2. 選取應用程式。
  3. 依序選取 [版本管理] > [正式發佈前測試報告]
  4. 如果畫面上方顯示 [執行自訂測試],就表示您可以執行自訂測試,請選取 [立即開始] 展開測試。

查看測試結果

如何查看測試結果:

  1. 登入 Play 管理中心
  2. 選取應用程式。
  3. 依序選取 [版本管理] > [正式發佈前測試報告]
  4. 查看 [穩定性]、[效能]、[協助工具]、[螢幕擷取畫面] 和 [安全性] 分頁。這些頁面會分別顯示最近一次測試的相關結果。如要查看先前版本的測試結果,請使用 [選取] 下拉式選單。
    • 注意:如果系統顯示「測試中」,表示您最近一次的測試尚未結束,如果您最近一次的測試無法執行,系統會顯示「測試失敗」。如要執行別的測試,請發佈其他 APK 或應用程式套件。

結果

請注意,Google 不保證這些測試一定能偵測到所有問題。

總覽
每份測試摘要會包括在測試中發現的錯誤、警告與不嚴重問題等項目的數據資料 (按問題類型區分),同時也會基於應用程式的測試結果提供修正建議。
以下列舉一些在測試中發現的問題:
  • 錯誤:當機情形、不支援的受限 API 使用情形
  • 警告:ANR、啟動及載入時間緩慢、登入或檢索問題、記憶體問題、不支援的未受限 API 使用情形
  • 輕微問題:缺少內容標籤、色彩對比問題、觸控目標尺寸太小、實作問題

依照類別查看報告

您可以在應用程式 [總覽] 分頁的下半部附近查看個別資訊卡,其中摘述與穩定性、效能、安全性與隱私權以及協助工具的相關問題。測試報告可能也會根據測試結果提供深入分析與修正建議,讓您瞭解如何改善應用程式。

在每張資訊卡上會顯示一段說明,其中包含測試所發現問題的類型與數據資料。

查看個別問題

在每張資訊卡上您可以按一下 [查看所有問題],或點選資訊卡右下角的向下箭頭查看各個問題的簡短說明。如要瞭解特定問題的詳細資料,請按一下 [查看問題]。

比較其他版本

應用程式「總覽」分頁底部的圖表會顯示測試摘要與先前版本的測試比較結果。您可以查看每個 APK 或應用程式套件的錯誤、警告、輕微問題和已完成的測試數量,以及報告產生的時間戳記。

瞭解正式發佈前測試報告的使用秘訣

在應用程式 [總覽] 分頁的底部,您可以查看關於如何更有效使用正式發佈前測試報告的教學說明與秘訣。

穩定性

每份測試摘要包括下列項目的數量:

  • 發生問題的裝置
  • 沒有發生問題的裝置
  • 已測試的裝置

比較其他版本

您的應用程式 [穩定性] 分頁上的圖表會顯示您的應用程式相容性與先前版本的比較結果。

每個長條代表近期測試過的 APK 或應用程式套件,以及測試期間成功和失敗的啟動次數。

查看個別報告

您可以在應用程式 [穩定性] 分頁的下半部附近查看搭載不同版本的 Android 裝置個別報告。

每一行都列有測試裝置的名稱、裝置的 Android 版本,以及用來顯示應用程式是否發生任何測試問題的圖示。

  • 如果裝置在測試過程中發生問題,系統會顯示紅色圖示。
  • 如果測試過程並未發生任何問題,系統會顯示綠色勾號。

只要選取您要查看的測試,即可瀏覽更多詳細資料,例如裝置名稱、作業系統、測試時間、測試過程的螢幕擷取畫面和影片、連貫動作示範輸出,以及堆疊追蹤 (如果適用)。

注意:應用程式的「當機次數和 ANR」頁面也會列出測試期間找到的當機問題。請注意,正式發佈前測試報告所列的當機記錄來自測試裝置,所以不會影響您的當機統計資料。

Android 相容性

如果您的應用程式是採用一或多個不在公開 Android SDK 中的介面 (通常稱為「不支援」或「非 SDK 介面」),正式發佈前測試報告的 [總覽] 和 [穩定性] 分頁中就會列出相關錯誤和警告。

查看個別問題

如要找出使用中的不支援介面,您可以在正式發佈前測試報告中,按一下「作業系統相容性」錯誤和問題旁邊的 [查看問題] 連結。如要查看您的應用程式呼叫的特定介面,則請按一下旁邊的向下箭頭,即可查看堆疊追蹤。系統可能會在單一測試中多次呼叫同一個介面。

系統會依據嚴重程度將不支援的介面劃分為不同類別。為了避免穩定性問題,建議您全面停用不支援的介面,但您可以藉由這些類別協助您安排處理問題的優先順序。

建議的優先順序如下:

  1. 受限:在部分或所有 Android 版本上無法顯示的介面。
  2. 不支援但有迫切的限制:不保證可正常顯示但在新版本中將會受限的介面。
  3. 不支援但沒有迫切的限制:不保證可正常顯示的介面。

注意:每個類別的介面都是按頻率排序,方便您安排處理問題的優先順序。

成效

每種裝置型號的測試摘要皆包括下列指標:

  • 平均每秒畫格數:播放畫格的平均速率。
    • 注意:只有使用連貫動作示範的測試,才能取得每秒平均畫格數這項資料。
  • 平均 CPU 用量:您的應用程式在特定裝置型號上的平均 CPU 用量。
  • 平均網路傳送資料量您的應用程式在特定裝置型號上每秒透過網路連線傳送的平均位元組數。
  • 平均網路接收資料量:您的應用程式在特定裝置型號上每秒透過網路連線接收的平均位元組數。
  • 記憶體平均用量:您的應用程式於所選時間範圍內在特定裝置型號上的平均記憶體使用量。

注意:搭載舊版 Android 作業系統的測試裝置可能無法產生效能表現資料。

查看個別報告

選取各個裝置型號即可查看圖表和記錄,瞭解測試中的各個指標變化。

舉例來說,您可以查看測試期間的應用程式的 CPU 用量。如果您發現 CPU 用量驟增,可以查看檢索器當時執行的動作,設法解決問題。

協助工具

每份測試摘要會包括在測試中發現的協助工具錯誤、警告和輕微問題等項目的數據資料,分為以下類別:

依照類別查看報告

您可以在應用程式 [協助工具] 分頁的下半部附近,查看類別區段和螢幕擷取畫面叢集,識別應用程式中的協助工具問題。

  • 找到錯誤時會顯示紅色圖示。
  • 找到警告時會顯示橘色圖示。
  • 如果只找到輕微問題,系統會顯示藍色圖示。
  • 如果找不到任何問題,系統會顯示綠色勾號。

查看個別問題

您可以點選個別螢幕擷取畫面叢集,查看包含對應型號名稱、作業系統、螢幕尺寸、螢幕密度和語言的螢幕擷取畫面示例,以及建議的做法。

改善應用程式的協助工具

螢幕擷取畫面

測試摘要

  • 呈現應用程式在不同語言的測試裝置上顯示情形的圖片
  • 關於測試裝置的中繼資料 (包括型號名稱、Android 版本、語言、螢幕解析度和 DPI)
  • 提供螢幕擷取畫面的裝置數量
  • 無法使用 APK 或應用程式套件進行測試的裝置數量
    • 無法使用的裝置數:您的 APK 或應用程式套件與這類裝置相容,但在測試過程中發生問題。如有任何裝置無法進行測試,建議您上傳其他 APK 或應用程式套件並重新測試。
    • 不相容的裝置數:您的 APK 或應用程式套件與特定測試裝置不相容。如果您再次進行測試,將無法取得任何不相容裝置的測試結果。

注意:如果您使用連貫動作示範進行測試,則「螢幕截圖」分頁不會顯示任何資料。

查看螢幕擷取畫面的方法

  • 螢幕擷取畫面叢集:選取 [螢幕擷取畫面叢集] 分頁即可查看類似螢幕擷取畫面在各裝置上的顯示情形。在這個分頁中,正式發佈前測試報告會依畫面上的元素或小工具將圖片分組。
  • 裝置:選取 [裝置] 分頁即可查看與特定裝置相關的所有螢幕擷取畫面。在這個分頁中,您可以查看在測試期間依時間順序擷取的螢幕畫面。

語言偏好設定

如要查看特定語言的螢幕截圖,請在「設定」分頁中配置語言偏好設定

安全性

系統如果在您的 APK 或應用程式套件中發現任何安全性漏洞,測試摘要就會列出漏洞的名稱和說明。

注意:如果系統列出任何安全性漏洞,建議您先採取相關修正措施,再將 APK 或應用程式套件發佈到正式發佈階段。

管理正式發佈前測試報告設定

正式發佈前測試報告版本

自 2017 年 10 月起,正式發佈前測試報告使用了新版檢索器,可為您的應用程式提供更全面的檢查。因此,正式發佈前測試報告必須在測試環境中暫時重新簽署您的 APK 或應用程式套件。

新版測試程序可能的限制

由於重新簽署程序的緣故,您可能會注意到部分應用程式的測試限制,包括:

  • 無法自動登入 Google 帳戶
  • 無法與使用應用程式簽署金鑰做為驗證機制的網路服務 RPC 正確互動
  • 發現的當機問題較少

注意:大多數應用程式不會受到這些限制影響,可獲得比舊版正式發佈前測試報告更詳盡的檢索,排除更多潛在問題。

改用先前的測試程序

如果您發現任何問題,可以切換回先前的測試程序 (不須重新簽署):

  1. 登入 Play 管理中心
  2. 選取應用程式。
  3. 依序選取 [版本管理] > [正式發佈前測試報告] > [設定]
  4. 在「正式發佈前測試報告版本」部分中,將 [選擇不採用] 切換按鈕向右移 (變藍為止)。
關閉正式發佈前測試報告

系統會在您將應用程式發佈到開放式、封閉式或內部測試群組時自動產生正式發佈前測試報告。如要為應用程式停用所有正式發佈前測試報告,請按照下列步驟操作:

  1. 登入 Play 管理中心
  2. 選取應用程式。
  3. 依序選取 [版本管理] > [正式發佈前測試報告] > [設定]。
  4. 將「啟用正式發佈前測試報告」旁邊的切換按鈕向左移,讓按鈕變成灰色。如果您日後需要重新啟用正式發佈前測試報告,只要將切換按鈕向右移,讓開關變成藍色即可。

其他測試功能

如果您的應用程式會在登入畫面上要求使用者提供憑證,您可以將憑證新增至與測試帳戶相關聯的 Play 管理中心。

重要資訊:您提供的憑證僅用於測試。提醒您,即使提供了憑證,Google 仍無法保證這些測試能抓出所有問題。

憑證的用途

使用正式發佈前報告時,系統會儲存您在測試過程中新增的全部憑證,供日後所有測試使用 (直到修改憑證為止)。一旦您修改應用程式的測試憑證,新的測試就會使用更新後的憑證。如果刪除應用程式的測試憑證,則必須加入新的憑證,系統日後測試時才能登入您的應用程式。

雖然我們會盡力確保測試憑證的安全,但仍建議您不要將任何正式憑證加入正式發佈前測試報告,而是另外準備好一組測試帳戶專用的使用者名稱和密碼。

請注意:唯有使用標準 Android 小工具的 Android 應用程式,才能在應用程式中自動插入憑證。使用 OpenGL 的應用程式無法透過憑證來顯示自訂控制項,而使用 WebView 的應用程式也無法藉此建立網頁式驗證流程。

設定憑證

  1. 登入 Play 管理中心
  2. 選取應用程式。
  3. 在左側選單中依序選取 [版本管理] > [正式發布前測試報告] > [設定]
  4. 輸入下列資訊:
    • 使用者名稱資源名稱:應用程式內文字欄位的 Android 資源名稱,這裡必須輸入使用者名稱 (舉例來說,如果文字欄位顯示為 @+id/username_field,則請輸入 username_field)。
    • 使用者名稱:與您的測試帳戶相關聯的使用者名稱。
    • 密碼資源名稱:應用程式內文字欄位的 Android 資源名稱,這裡必須輸入密碼。
    • 密碼:與您的測試帳戶相關聯的密碼。
    • 登入按鈕資源名稱:使用者輸入使用者名稱和密碼後,接下來要輕觸的應用程式按鈕的 Android 資源名稱,例如啟動登入程序的按鈕。您可以刪除這個欄位。
  5. 儲存變更。

編輯或刪除憑證

  1. 登入 Play 管理中心
  2. 選取應用程式。
  3. 在左側選單中依序選取 [版本管理] > [正式發布前測試報告] > [設定]
  4. 在顯示的畫面中執行下列操作:
    • 如要更新憑證,請直接輸入新的憑證資訊。
    • 如要刪除憑證,請選取 [清除所有欄位]。
  5. 儲存變更。
查看特定語言的測試結果

如要讓正式發佈前測試報告只顯示特定語言的測試結果,可以前往 [設定] 分頁設定語言偏好設定。您最多可以選取 5 種語言。

提示:由於系統會在您上傳測試版 APK 或應用程式套件時自動執行正式發佈前測試報告,您只能在初次測試完成後新增語言偏好設定。

  1. 登入 Play 管理中心
  2. 選取應用程式。
  3. 在左側選單中依序選取 [版本管理] > [正式發佈前測試報告] > [設定]。
  4. 在「語言偏好設定」之下選取「新增語言」圖示
  5. 最多可選取 5 種語言。選取後,日後的測試就只會顯示這些語言的測試結果。
    • 如要移除語言,請選取「取消」圖示
控制應用程式正式發佈前測試報告的檢查項目

如想進一步控制測試,您可以建立 Robo 指令碼來執行特定動作,例如測試一般使用者的操作歷程或測試應用程式新區塊。在一般測試中,檢索器不一定會執行這些動作。

當您執行附有指令碼的測試,檢索器會先執行您預先寫好的動作,再按照往常一樣檢索應用程式。

做法如下:

  1. 如要記錄指令碼,請按照 Firebase 說明中心提供的操作說明進行。Robo 指令碼記錄不會擷取受試應用程式以外的動作。
    • 注意:您無需具備 Firebase 帳戶,也可以執行 Robo 指令碼。
  2. 指令碼準備就緒後,請登入 Play 管理中心
  3. 選取應用程式。
  4. 依序選取 [版本管理] > [正式發佈前測試報告]。
  5. 選取 [設定] 分頁。
  6. 在「Robo 指令碼」部分中上傳您的指令碼。

全部收合 全部展開

常見問題

我的應用程式封鎖了特定國家/地區以外的使用者,要如何確保正式發布前測試報告順利執行?

如要偵測您的正式發布前測試報告是否正在 Test Lab 中執行,有以下兩種方式:

我的應用程式有廣告,要如何確保正式發布前所執行的測試不會計入我的應用程式曝光次數和點擊數 (我的廣告聯播網可能會偵測到或對此感到不滿)?

Google Ads 已將正式發布前測試報告的位址範圍排除在流量的計算之外,針對其他廣告聯播網,您必須指定要排除的 IP 位址範圍

我的應用程式有經過模糊處理,還是可以執行正式發布前測試報告嗎?

可以,無論您的應用程式是否經過模糊處理,您都可以執行正式發布前測試報告。

不過,如果是經過模糊處理的應用程式,測試過程中的當機問題或 ANR 也會受到模糊處理。我們建議您在上傳 APK 時一併提供對應檔,以便偵錯。

您可以進一步瞭解上傳對應檔,以對您應用程式的當機問題進行去模糊處理。

測試秘訣和支援說明

測試裝置的地理位置

測試裝置位於美國。如果您的應用程式使用地理位置功能,或針對不同國家/地區設有內容限制,測試裝置僅能顯示所在地點的特定內容。

如果您的應用程式必須在測試裝置所在地區之外的特定地理位置才能使用,您可以先在 APK 或應用程式套件中移除地理位置的系統需求,然後再接著發佈以進行測試。

訂閱項目或應用程式內產品

測試裝置無法在測試過程中進行購買交易。如果您的應用程式所提供的訂閱項目或應用程式內產品,僅能存取應用程式的部分內容,系統可能無法進行全面性的測試。

沒有主要啟動活動的應用程式 (小工具、鍵盤等)

測試裝置無法針對沒有主要啟動活動的應用程式 (包含啟動器、小工具、鍵盤和錶面) 執行測試。

包含多媒體廣告的應用程式

如要進一步瞭解如何運用自動應用程式測試來減少詐欺廣告收益,請參閱 Google 開發人員網站中的相關說明。

專為 x86 裝置編譯的應用程式

我們選用的測試裝置都是屬於 ARM 架構,系統會顯示 x86 APK 與所有測試的裝置不相容。

專為 Wear OS by Google、Android Auto、Android TV 及舊版 Android 設計的應用程式

我們選用的測試裝置只有手機和平板電腦,所以無法讓您直接在 Wear OS by Google、Android Auto 或 Android TV 裝置上測試應用程式。此外,我們也並未採用 Android 4.1.1 (Jelly Bean) 之前版本的測試裝置。

採用 OpenGL/Unity3D 架構的應用程式

對於運用 OpenGL/Unity3D 架構的應用程式,我們的自動檢索器無法識別使用者介面元素,因此測試結果將只包含啟動應用程式,以及幾秒後關閉時的數據。

您可以使用連貫動作示範/0}來測試遊戲中一連串預先定義的動作。

預先載入媒體或預先安裝其他應用程式

測試平台不支援為裝置預先載入特定媒體或預先安裝特定應用程式。

如果您想將應用程式與預先載入的資料一起測試,可以先將媒體檔案嵌入測試版應用程式的 APK 或應用程式套件,然後再發佈。

使用 Google Play 授權服務的應用程式

如果您的應用程式正在進行開放式測試或已經進入正式發佈階段,系統在檢查正式發佈前測試報告所使用的 ID 時,會認定該 ID 已取得應用程式授權。

如果您的應用程式並未進行開放式測試,您也尚未正式發佈任何有效的 APK,您的應用程式就不會通過授權檢查。您仍然會收到正式發佈前測試報告結果,但您的應用程式將處於未獲授權的狀態。如要測試這類應用程式,您可以先在封閉式測試版應用程式中停用授權服務,然後再發佈給使用者進行測試。

使用橫向配置的應用程式

測試裝置採用縱向的預設螢幕方向,會固定在縱向畫面模式中執行測試,因此會強制讓採用橫向模式的應用程式轉成縱向模式。

會檢查裝置是否有 Root 權限的應用程式

測試平台不支援會檢查裝置是否對 Android 系統具有特別控制權 (Root 權限) 的應用程式。

申請正式發佈前測試報告通知電子郵件

您可以在 Play 管理中心設置電子郵件偏好設定,指定系統在有可用的正式發佈前測試報告時寄送電子郵件通知給您。您可以選擇接收所有測試的通知,或是只接收有問題測試的通知。

這對您有幫助嗎?
我們應如何改進呢?