針對商店資訊進行 A/B 版本測試

為了讓開發人員取得更多控制權與更健全的統計資料,我們最近已對 Play 管理中心的商店資訊實驗功能做出一些調整。本次新增三項功能:

  • 實驗參數設定;
  • 預估實驗所需樣本數和完成時間的計算機;以及
  • 信賴區間現在可讓您持續監控實驗。

這個頁面已根據上述異動而更新。

請注意,本頁所述功能尚未開放所有開發人員使用。

想讓您的 Google Play 商店資訊發揮最佳效用嗎?您可以善用實驗功能,找出最能展現應用程式魅力的圖像和本地化文字。實驗範圍可包含您的主要商店資訊頁面和自訂商店資訊頁面。

如果您的應用程式已經發布,您也可以推出其他測試版本,並與目前的版本進行比較,然後再根據安裝資料判斷成效最佳的版本。設定測試前,請詳閱有效執行實驗的最佳做法。

注意:我們已將所有語言版本的實驗重新命名為預設圖像實驗。除新名稱外,這項實驗的所有功能皆維持不變。

實驗類型

每個應用程式同時間可以進行一個預設圖像實驗,或最多五個本地化實驗。

預設圖像實驗

透過預設圖像實驗,您可以根據應用程式預設的商店資訊語言,針對圖像進行實驗。實驗項目可以是不同版本的應用程式圖示、主題圖片、螢幕擷圖和宣傳影片。

  • 如果應用程式的商店資訊僅支援一種語言:所有使用者都能看到預設圖像實驗版本。
  • 如果已新增任何翻譯成特定語言的圖像資源:系統會從預設圖像實驗對象中排除以該語言查看應用程式的使用者。舉例來說,如果應用程式的預設語言是英文,且含有翻譯成法文的主題圖片,那麼即使正在進行的是圖示實驗,以法文查看應用程式的使用者仍會排除在實驗對象之外。
本地化實驗 (文字和圖像)

透過本地化實驗,您可以針對應用程式的圖示、主題圖片、螢幕擷取畫面、宣傳影片和/或說明進行實驗,最多測試五種語言版本。只有以您選取的語言查看應用程式商店資訊的使用者才會看到實驗版本。

如果應用程式的商店資訊僅支援一種語言,那麼使用者必須使用應用程式預設語言來檢視,才能看到本地化實驗版本。

步驟 1:建立實驗

如何在 Play 管理中心建立實驗:

  1. 開啟 Play 管理中心,然後前往「商店資訊實驗功能頁面 (依序點選「拓展」>「商店發布」>「商店資訊實驗功能」)。
  2. 按一下「建立實驗」
  3. 輸入實驗詳細資料:
    • 實驗名稱:輸入實驗的名稱 (最多 50 個字元)。
    • 商店資訊:選取要執行這項實驗的商店資訊。
    • 實驗類型:選擇「預設圖像實驗」或「本地化實驗」
  4. 點選「下一步」
  5. 按照「步驟 2:設定實驗」的說明繼續操作。

步驟 2:設定實驗

建立實驗後,您可以選取要測試的商店資訊、變化版本和屬性。

如何設定實驗:

  1. 按照畫面上的指示選取商店資訊並新增實驗目標,例如目標指標、實驗對象、變化版本和其他設定。
  2. 如要開始進行實驗,請按一下頁面頂端的 [執行實驗]
  3. 如要稍後再完成實驗設定程序,請按一下 [儲存]
查看欄位、說明、範例和提示

設定實驗時,您必須提供下列商店資訊資料。

欄位 說明 範例和提示
實驗名稱

實驗名稱只會顯示在 Play 管理中心,讓您一眼就能知道這是什麼實驗,使用者不會看到這個名稱。

  • 「明亮圖示實驗」
  • 「標誌主題圖片」
  • 「搭配新標語的簡短說明」
商店資訊 您要測試的商店資訊 (主要/自訂)。

實驗開始後,您的自訂商店資訊名稱會連同實驗開始時的商店資訊名稱一起顯示。如果您在實驗開始後更新了自訂商店資訊名稱,以後這個名稱就不會再變更。

為了避免實驗時容易混淆,建議您刪除目前未使用的自訂商店資訊,等有需要時再建立新的自訂商店資訊。


設定實驗時,您必須提供下列實驗目標資訊。這些設定會影響實驗的準確率,以及得出結果所需的安裝人數。

欄位 說明 範例和提示
目標指標 將用於判定實驗結果的指標。

系統提供兩種選項:

  • 首次安裝後保留應用程式的人數 (建議):首次安裝後保留應用程式至少 1 天的使用者人數
  • 首次安裝人數:首次安裝應用程式的使用者人數,無論是否保留應用程式都會列入計算
變化版本 測試中與目前商店資訊對照的實驗變化版本數。測試單一變化版本需要的實驗時間較少。

如要為實驗新增變化版本,請在「變化版本」下拉式選單中選取其他選項。

除了現有版本外,您最多可以為每個實驗新增三個變化版本。

實驗對象

將看到實驗變化版本 (而非目前的商店資訊) 的商店資訊訪客百分比。

這個百分比內實際所含的訪客人數會平均分配到您的每個實驗變化版本。

如果將實驗對象設為 30%,前往商店資訊頁面的其餘 70% 使用者會看到現有版本的頁面。

如果將實驗對象設為 30%,而且共有兩種實驗變化版本,每種實驗變化版本則分別會向 15% 的使用者顯示。

在實驗過程中,每位使用者只會看到一個變化版本,或是現有版本的頁面。

最小可檢測效果 變化版本和對照組之間至少要有多少差異,才能判定何者的成效較佳。如果實際的差異少於這項設定,系統會將實驗結果視為兩者的成效相同。  
信賴水準 實驗的信賴區間含有商店資訊實際成效的頻率。

增加信賴水準會減少誤判可能性。

注意:如果針對實驗選擇 90% 的信賴水準,表示十個實驗中可能會有一個實驗出現誤判情況

屬性

選取要與現有資訊進行比較的測試項目類型。

一次只測試一種屬性可讓實驗發揮最大效益。

本地化實驗只能測試簡短和完整說明。

如要測試圖像資源,請務必遵守大小和檔案類型的相關規定


如果您在輸入實驗目標資訊時點選「編輯預估值」,就能編輯下列的每日預估值。這些值可協助您計算實驗所需時間,但可能與觀察到的成效表現有所出入。

欄位 說明 範例和提示
新使用者的每日造訪人數 未曾安裝過您應用程式的商店資訊訪客預估人數。  
轉換率 會轉換成目標指標的預估訪客百分比。

舉例來說,如果您的目標指標為首次安裝人數,轉換率就是會轉換成首次安裝人數的預估訪客百分比。

保留應用程式的每日首次安裝人數

首次安裝應用程式,且未在一天後取消安裝的使用者預估人數。

詳情請參閱「查看統計資料、指標與範例的說明」一節。
每日首次安裝人數

造訪商店資訊且首次安裝應用程式的使用者預估人數。

詳情請參閱「查看統計資料、指標與範例的說明」一節。

步驟 3:查看並套用結果

如何查看並套用結果:

  1. 開啟 Play 管理中心,然後前往「商店資訊實驗功能頁面 (依序點選「拓展」>「商店發布」>「商店資訊實驗功能」)。
  2. 在表格中找出要查看的實驗資料列,然後選取該列上的向右箭頭。如要進一步瞭解詳細資料的顯示方式,請參閱下方的「商店資訊實驗表格」一節。
  3. 在「結果」部分中查看實驗結果摘要。系統會根據您的目標指標列出結果。

    結果將指出哪個變化版本的成效最佳,或者成效優於目前的商店資訊。此外,您也會看到這項結果的說明 (內容會因信賴區間和最小可檢測效果而異) 和建議採取的行動 (如果有的話)。若系統收集到的資料不足以傳回結果,您可能會收到「需要更多資料」的結果。
     
  4. 根據實驗結果採取後續行動:
    • 如果某個變化版本的成效良好,系統可能會建議您套用該變化版本。
    • 如果結果顯示「請繼續執行實驗,以便收集更多資料」這段文字,請稍後再返回查看。
    • 如果多個變化版本的成效優於現有商店資訊,或者結果顯示「成效持平」,請查看結果來決定要套用哪個變化版本。
    • 如果現有商店資訊的成效最佳,請點選「保留目前的商店資訊」
商店資訊實驗表格

設定實驗後,即可在「商店資訊實驗功能」頁面查看下列詳細資料。系統會以下列四份表格整理實驗詳細資料。如要取得更多詳細資料,請在表格中找出要查看的實驗資料列,然後選取該列上的向右箭頭。

草稿

  • 實驗名稱:實驗的名稱
  • 商店資訊:執行實驗的商店資訊
  • 實驗類型:預設圖像實驗或本地化實驗
  • 詳細資料:向指定百分比的目標使用者所顯示的變化版本數

進行中

  • 實驗名稱:實驗的名稱
  • 商店資訊:執行實驗的商店資訊
  • 實驗類型:預設圖像實驗或本地化實驗
  • 開始日期:實驗開始的日期
  • 詳細資料:向指定百分比的目標使用者所顯示的變化版本數

已完成

  • 實驗名稱:實驗的名稱
  • 商店資訊:執行實驗的商店資訊
  • 實驗類型:預設圖像實驗或本地化實驗
  • 開始日期:實驗開始的日期
  • 詳細資料:向指定百分比的目標使用者所顯示的變化版本數
  • 結果:實驗的結果

過往實驗

  • 實驗名稱:實驗的名稱
  • 商店資訊:執行實驗的商店資訊
  • 實驗類型:預設圖像實驗或本地化實驗
  • 開始日期:實驗開始的日期
  • 結束日期:實驗結束的日期
  • 狀態:已套用或未套用
查看統計資料、指標與範例的說明

選取實驗後,您可以查看使用者和安裝指標,瞭解各個變化版本的大致成效。

使用者指標

指標 定義
首次安裝人數

在實驗期間首次安裝應用程式的不重複使用者人數。資料已按目標對象比例調整。

安裝並保留應用程式的使用者 (1 天)

在實驗期間首次安裝應用程式,並在安裝後將應用程式至少保留 1 天的不重複使用者人數。資料已按目標對象比例調整。

留存的預先註冊使用者 (僅向特定 Play 合作夥伴顯示) 已預先註冊且維持該狀態至少 1 天的使用者人數。

結果

根據指標評估實驗結果時,您可以查看兩種資料:

  • 目前:不重複使用者人數
  • 已經過調整:依目標對象比例區分的不重複使用者人數

如要查看安裝人數的絕對值資料,請使用目前資料。如要查看根據不同目標對象比例調整過的資料 (比如有 90% 目標對象看到其中一個版本,剩下 10% 看到另一個版本),請使用調整後的資料。

項目 定義和範例
成效

預估的安裝次數變化 (與目前版本相比)。只有在實驗收集足夠的資料時,系統才會顯示成效。一般來說,當實驗的執行時間越長,收集的資料越多,其變化版本的成效預估範圍就會越小而且越準確。

範例:如果其中一個變化版本的成效範圍是 +5% 至 +15%,那麼成效變化就會在這兩個值之間,而最有可能發生的變化即為兩者的平均,也就是 +10% 左右。

安裝次數 (已經過調整)
  • 實驗期間安裝次數 (依目標對象比例區分)。
  • 包括開始日期在 2019 年 1 月 24 日之前的實驗。
  • 舉例來說,如果您進行一項有兩種變化版本的實驗,這兩種版本的目標對象百分比分別為 90% 和 10%,而安裝次數分別為 A = 900 和 B = 200,那麼按比例調整過的安裝次數則分別為 A = 1000 (900/0.9) 和 B = 2000 (200/0.1)。
安裝次數 (目前)
  • 安裝應用程式後,至今仍未解除安裝的使用者人數。
  • 包括開始日期在 2019 年 1 月 24 日之前的實驗。

安裝指標 (已淘汰)

以下是開始日期在 2019 年 1 月 24 日之前的實驗所使用的指標。在這天之前開始的實驗仍會保留下列統計資料,之後的實驗則只會使用「首次安裝人數」和「安裝並保留應用程式的使用者 (1 天)」指標。

指標 定義和範例
在使用中裝置上安裝的次數
  • 目前安裝應用程式各變化版本的有效裝置數 (按比例增量修正,補足不同目標對象差異)。
安裝人數
  • 在指定日期安裝應用程式各變化版本的不重複使用者人數 (按比例增量修正,補足不同目標對象差異)。
解除安裝人數
  • 應用程式各變化版本在指定日期的解除安裝次數 (按比例增量修正,補足不同目標對象差異)。

涉及已淘汰指標的實驗

自 2019 年 9 月開始,系統將自動終止使用上述淘汰指標的實驗。請在規劃時將這一點納入考量,為商店資訊實驗選用最新指標。

您可以在「商店資訊」實驗頁面的「終止的實驗」下方查看已終止實驗的結果。

啟用實驗通知

如要在實驗完成後接收通知和電子郵件,請務必在 Play 管理中心的「通知頁面上設置偏好設定。

如要進一步瞭解電子郵件通知,請參閱管理您的開發人員帳戶資訊

這對您有幫助嗎?

我們應如何改進呢?
false
搜尋
清除搜尋內容
關閉搜尋
主選單
17810538546185729970
true
搜尋說明中心
true
true
true
true
true
92637
false
false