概覽
你可透過價格實驗進行 A/B 測試,然後按所得的結果,根據全球不同市場的購買力肯定且準確地調整應用程式價格。你亦可以使用價格實驗,在核心市場以對照組價格測試不同價格點,藉此增加收益。在不同國家/地區為應用程式內產品設定最佳價格,可確保對應用程式採取最佳定價策略,吸引新使用者同時提升收益。由於這項功能建基於應用程式內產品的定價和銷售,因此只有商家開發人員才能使用。
準備並進行價格實驗
以下部分提供指引和重要資訊,讓你瞭解如何準備和進行價格實驗,以及實驗結果。
開始之前
請展開並閱讀以下每個部分,然後才開始在「Play 管理中心」設定價格實驗。
先決條件 重要資訊一般資訊
- 實驗只可在應用程式層面進行;你無法對多個應用程式進行實驗。
- 每個實驗的最長時限為六個月,屆時所有價格將會還原。價格具有統計顯著性 14 天後亦會還原。
- 單個實驗最多可測試 1,000 個應用程式內產品。
- 在原本的實驗結束後最少 30 天內,你不可對重疊的應用程式內產品和國家/地區進行相同實驗。
- 你無法暫停實驗,只可以進行或完全停止。你無法重啟已停止的實驗。
國家/地區限制
- 你同一時間只可在任何指定的國家/地區進行一個實驗。例如,如果你已在挪威進行實驗,除非你停止第一個實驗並建立另一個,否則無法在挪威對不同產品進行另一個實驗。
- 測試的價格必須在應用程式內購買的指定價格範圍內。如果實驗中的價格百分比超出該國家/地區的指定價格範圍,價格百分比將自動在該上限或下限值停止。
- 每個實驗最多可有兩個價格變數和一個對照組。
- 實驗只在所選的國家/地區進行,而不會在相關的獨立稅率區進行。例如,在法國進行的實驗不會在相關的法屬領土 (法屬圭亞那、法屬波利尼西亞、瓜德羅普島、馬丁尼克、馬約特、新喀里多尼亞、留尼旺、聖巴泰勒米、聖馬丁、聖皮埃爾和密克隆群島、瓦利斯群島和富圖納群島) 進行。
對應用程式內產品的變更
- 你無法變更進行中實驗的應用程式內產品價格。你必須停止實驗,才能變更價格。請注意以下事項:
- 唯一例外情況是進行兩個實驗,並套用第一個實驗的結果。另外,如應用程式內產品與定價範本連結,你只可以變更非實驗中國家/地區的應用程式內產品價格。
- 實驗將忽略進行期間設定的新應用程式內產品。
進行實驗並套用結果
- 你可以隨時套用實驗價格,但建議等待結果具統計顯著性時才套用,並只套用成效比對照組較佳的價格變更。
- 你不可對現正進行中的實驗新增其他國家/地區或產品。
- 如果一項或多項產品與定價範本連結,套用價格將更新實驗的國家/地區價格,並將這些產品與範本解除連結。
各實驗使用大量統計術語。如果你不熟悉這些術語,以下詞彙可能有幫助。
字詞 | 定義 | 備註 |
---|---|---|
置信區間 |
這個範圍的值表示結果具統計顯著性與否的不確定性。 |
這是銓釋實驗結果的主要訊號。統計顯著性於置信區間並非與 0 相交時得出。 這可能因低資料量.而未在首幾天顯示。 |
置信水平 |
變數與對照組之間的觀察差異為 true 的機率。 例子:90% 置信水平表示觀察到的差異之中有 10% 很可能是基於偶然。換言之,如果對照組與變數沒有分別,測試的資料發生機率低於 10%。 |
|
對照組 | 實驗組中的原始測試變數 (包含原價應用程式內產品)。 | 設定期間定義的部分實驗對象及未有參與實驗的使用者都會看到對照組價格。 |
實驗結果 | 實驗的結果。 | 以下部分列出可能的實驗結果。 |
誤測 | 陰性活動不正確分類為陽性。 |
當偵測到對照組與測試的花費差異具統計顯著性 (陽性),但對照組與測試的花費差異實際不具統計顯著性 (陰性),則視為誤測。 誤測率是假陽性數量與實際陰性活動總數的比率。 |
應用程式內產品 |
向使用者收取一次性費用的商品。 應用程式內產品可以包括 Google Play 應用程式內的虛擬物品 (如遊戲等級或藥水) 及付費服務等項目。 |
你可以選擇一項或多項不同的應用程式內產品,以 2,000 項為上限。一般而言,更多資料表示較少時間偵測到對照組與變數之間的差異 (如有差異)。 對多種產品的價格變更進行實驗,可能會降低蠶食機率。 |
最小可檢測效果 (MDE) |
設定實驗時選擇的輸入值,以表示實驗偵測的改善水平。你可視此為實驗的敏感度,因此這會影響得出具統計顯著性結果的預計時間。當你選擇 MDE 後,系統會根據所選值的記錄資料顯示得出具統計顯著性結果所需的預計時間。 例如,MDE 越小,實驗的敏感度越高,計算具統計顯著性結果的預計時間越長。 |
|
新奇效應 | 這個現象指即使該功能不比原來的功能優勝或吸引,使用者都可能會選擇或試用新功能 (例如新產品或價格點)。在這個情況下,升幅通常隨時間消失。 | 快速完結的實驗可能受新奇效應影響。建議使用計算具統計顯著性結果所需的預計週數來考慮這個效應。 |
統計顯著性 | 在 A/B 測試中,指確定對照組與變數的差異是否真實或基於偶然。 |
如置信區間的效應中不包括零值,我們會視之為具統計顯著性的結果。在這個情況下,效應是對照組與變數花費的差異。 你可以在「常見問題」部分中查看以圖表表示的置信區間例子。 |
變數 | 實驗組原始測試變數的變異。 | 變數是原價應用程式內產品的加價或減價。 |
設定實驗
設定實驗時,建議你在實驗中包括應用程式所有可互換的應用程式內產品 (例如遊戲內貨幣),以限制蠶食。
如資料量低,你很可能沒有足夠資料從實驗中得出結論。例如,如果你對新產品進行實驗,預計的實驗時間和警告可能會不準確。在這個情況下,「Play 管理中心」可能會顯示警告,預測所選時間範圍內的資料量很低。如收到低資料量訊息,你可能沒有足夠資料進行實驗,你或可微調你的實驗參數。以下是一些解決低資料量問題的建議操作。
反之,如果進行較長時間的實驗,須注意結果可能隨時間受經濟因素 (例如全球匯率波動) 影響。
第 1 部分:新增詳情
如要新增實驗詳細資料,請完成以下步驟:
- 開啟「Play 管理中心」並前往「價格實驗」頁面 (按一下 [營利] > [價格實驗])。
- 按一下 [建立實驗]。
- 在「新增詳情」部分,輸入實驗的名稱和簡短描述 (選填)。
- 請注意:實驗名稱和簡短描述不會向使用者顯示。
- 選取要進行實驗的國家/地區:
- 重要事項:價格實驗只在所選的國家/地區進行,而不會在相關的地區進行。例如,如果你選取法國,價格實驗只會在法國進行,而不會在法屬圭亞那等相關地區進行。
- 使用「產品」下拉式選單選擇要進行實驗的應用程式內產品。下拉式選單列出可用的應用程式內產品名稱、ID 和價格。
- 重要事項:如果你選擇與定價範本連結的應用程式內產品,該定價範本將在價格實驗持續期間被鎖定。
- 選取開始日期。實驗將於所選日期的 00:00 (太平洋時間) 開始。你可以將實驗安排在未來開始。
- 按一下 [下一步] 以繼續設定你的實驗,為實驗新增變數。
如我們根據你輸入的實驗設定,預測實驗的資料量太低而無法得出具統計顯著性的結果,系統會向你顯示警告。在這個情況下,建議你作出調整,以確保收集足夠資料以得出具統計顯著性結果。如要查看可能的後續步驟,請參閱「針對低數據量的建議行動」。
針對低資料量的建議行動以下建議有助變更得出具統計顯著性結果所需的資料量,以縮短實驗持續時間。
實驗設定步驟 |
建議操作 |
---|---|
第 1 部分:新增詳情 | 增加實驗中的國家/地區數目。 |
第 1 部分:新增詳情 | 測試所有應用程式內產品,或增加應用程式內產品數目。 |
第 2 部分:新增變數 | 將二個變數減為一個。 |
第 2 部分:新增變數 |
以較大百分比減價 (較低價格) 的實驗。 請注意:這不會影響最初的估計,但對進行中的實驗有幫助。 |
第 3 部分:管理設定 | 提高每個變數的目標對象人數 (例如對照組和實驗組各佔一半)。 |
第 3 部分:管理設定 |
提高最小可檢測效果。 請注意:這只會影響變數與對照組成效相同的實驗。 |
第 3 部分:管理設定 | 降低置信水平。 |
第 2 部分:新增變數
在「新增變數」部分中,你可以新增和移除價格變數。你的價格實驗必須有最少一個變數。如要新增變數,方法如下:
- 使用下拉式選單選擇 [加價] 或 [減價],並輸入要套用至你的選擇的百分比。請注意以下事項:
- 你必須輸入整數。
- 如果選取 [減價],你必須輸入 1 至 99 之間的數值。
- 如果選取 [加價],你必須輸入 1 至 999 之間的數值。
- 當你新增變數後,頁面會列出對照組價格範圍和變數價格範圍。你可以按一下 [查看產品價格] 以獲得更多詳細資料,包括產品名稱和 ID、獨立稅率區 (如適用) 和稅務資料。在使用匯率和特定國家/地區的定價模式後,你可以在這裡看到實際的百分比價格變更。
- 如想在實驗中加入多個變數,按一下 [+ 新增其他變數],並重複之前的步驟。對照組價格範圍和變數價格範圍亦會在頁面上列出。
- 按一下 [下一步] 以繼續設定你的實驗,微調實驗設定。
第 3 部分:管理設定
在「管理設定」部分中,你可以設定定位參數,為實驗作出微調。如要管理實驗設定,方法如下:
- 輸入實驗目標對象。這是參與實驗的使用者百分比。這些使用者將在變數和對照組之間平分。請注意,未參與實驗的使用者亦可查看原價或對照組價格,但不會包括在實驗分析內。
- 請注意:你必須輸入 1 至 100 的整數。
- 輸入置信水平。置信水平愈低,誤測的機會愈高,但亦會縮短實驗的進行時間。
- 輸入最小可檢測效果。此值表示想實驗偵測的改善水平。你可視此為實驗的敏感度,因而調整得出具統計顯著性結果的預計時間。
- 修正定位參數,為實驗作出微調。根據你的設定,你可視計算具統計顯著性結果的預計時間為準則。
第 4 部分:開始實驗
你現可開始實驗了。在實驗期間,所選應用程式內產品和國家/地區的價格將會變更。你可以隨時結束你的實驗。
- 開始實驗之前,請確認你瞭解下列事項:
- 實驗可能會影響應用程式的收益。請注意,如沒有具統計顯著性的結果,任何陰性或陽性收益結果可能不具意義,因此建議等待得出具統計顯著性的結果。
- 實驗進行時,你無法編輯所選應用程式內產品的價格。
- 套用實驗結果將會影響所有涵蓋的國家/地區和應用程式內產品。
- 按一下 [確定並開始實驗]。
選用:結束實驗
你可以隨時結束你的實驗。
- 開啟「Play 管理中心」並前往「價格實驗」頁面 (按一下 [營利] > [價格實驗])。
- 開啟要結束的實驗。
- 按一下 [結束實驗]。
結束實驗後,實驗價格將還原為相關國家/地區和應用程式內產品的原價。實驗和分析將不再有效。
如果你已安排未來的實驗,亦可按照之前的步驟取消該實驗。在預定開始日期前 24 小時內取消的實驗,偶爾會暫時開始進行。
查看實驗結果並套用變數
請務必熟悉各個可能的實驗結果,以及其對你應用程式和定價策略的意義。請仔細閱讀這個部分,然後才套用結果。
查看和分析實驗結果
當結果被視為具統計顯著性時,便會在實驗分析頁面顯示,你也會透過收件箱訊息收到通知。
查看結果
請前往你的實驗查看結果和分析,只需前往「價格實驗」頁面 (按一下 [營利] > [價格實驗]) 並按一下實驗旁邊的向右箭咀,即可查看實驗分析頁面。
系統會在頁頂附近顯示結果。請展開「可能的實驗結果」部分,以查看不同的結果及其意義。實驗結果下方會顯示詮釋結果的簡短描述。例如,你可能看到「變數 [X] 的成效最佳」,下方則為實驗結果的簡短說明,如「變數 [X] 錄得最高收益」。在變數的成效與對照組相同或較對照組優勝的情況下,你可以按一下 [套用變數 [X]],以套用變數並更新應用程式內產品定價。如要瞭解詳情,請參閱「套用變數」。
請注意:實驗會在得出結果 14 日後自動結束。你也可以按一下 [結束實驗] 以即時結束實驗。
查看補充資料
結果下方的表格顯示統計資料結果依據的資料。此表列出變數、收益、與對照組比較的收益 (及與對照組比較的收益百分比) 以及變數的置信區間。如想瞭解實驗分析頁面上的不同數據,請展開「數據定義」部分。
表格下方的「補充資料」部分讓你查看更詳細的資料。根據預設,該圖表會顯示截至最新可供日期與對照組比較的收益資料。在這個檢視模式中,陰影區域代表置信區間;圖表讓你查看置信區間隨時間的變化情況。你可以使用圖表右上方的持續時間和日期篩選器,調整所選的持續時間和日期。
你亦可以使用圖表左上方的數據篩選器顯示下列數據:收益、訂單、買家、買家比率、ARRPU (「數據定義」中亦有描述這些數據)。由於置信區間建基於收益,因此如選擇其他數據,圖表便不會顯示置信區間。
如要查看更多產品資料,你亦可以將實驗結果匯出至 CSV 檔案。你可以展開「數據定義 (匯出 CSV 檔案)」部分,查看匯出 CSV 檔案的欄位、格式和例子。
套用變數
套用變數之前,請注意以下事項:
- 如果一個或多個應用程式內產品與定價範本連結,套用變數將更新實驗的國家/地區價格,並將這些應用程式內產品與範本解除連結。
- 你只可將變數套用至實驗中的所有應用程式內產品和國家/地區。我們會對整個設定計算具統計顯著性的結果,因此如只套用至部分設定國家/地區和應用程式內產品,我們並不保證可得出相同的結果和效應。
如果變數的成效與對照組相同或較對照組優勝,你可以套用變數以更新定價:
- 開啟「Play 管理中心」並前往「價格實驗」頁面 (按一下 [營利] > [價格實驗])。
- 按一下要套用的變數旁邊的 [套用變數]。
你的應用程式定價將按變數設定更新。你的實驗將在得出結果 14 天後自動結束,你亦可以按一下 [結束實驗] 以即時結束實驗。
可能的實驗結果每個實驗有多個可能的結果,實驗結果決定後續步驟。
實驗結果 | 含意 | 備註/建議 |
---|---|---|
變數 [X] 的成效最佳 | 變數 [X] 錄得最大收益增幅,其實際結果具統計顯著性。 | 套用變數 [X],因為變數 [X] 的成效較對照組和其他變數顯著優勝。 |
兩個變數的成效均較對照組為佳 | 兩個變數均較對照組錄得較高收益。請查看結果並決定要套用的變數。 | 你決定要套用的變數。 |
變數和對照組成效相同 | 沒有變數較對照組錄得較高收益。 | 你的實驗收集足夠資料,且變數和對照組的收益相同。 |
對照組的成效最佳 | 對照組較兩個變數錄得較高收益。 | 這表示實驗中國家/地區和產品的目前價格點已經優化。請繼續將對照組價格用於實驗產品和國家/地區。 |
需要更多資料 | 實驗進行中。系統需要有更多資料才能得出具統計顯著性的結果。 | 前往「針對低數據量的建議行動」,以決定後續步驟。 |
結果不明確 | 你的實驗已提前停止,或已達六個月的實驗持續時間上限。系統需要有更多資料才能得出具統計顯著性的結果。請嘗試以不同設定進行新實驗。 | 前往「針對低數據量的建議行動」,以決定後續步驟。這可能表示買家對實驗中國家/地區的應用程式內產品價格並不在乎。 |
下表列出來自實驗分析頁面的數據。
數據 | 定義 |
---|---|
所有產品收益 | 購買實驗中和非實驗中應用程式內產品的實驗使用者在指定時段內產生的總收益。 |
每位付費使用者平均收益 (ARPPU) | 在實驗指定時段內,應用程式內產品的總收益除以不重複買家人數 (在實驗內和外購買應用程式內產品最少一次的使用者)。此數據可助你瞭解買家對你業務的價值。 |
買家比率 (28 天) |
在實驗期間購買應用程式內產品最少一次的每月活躍使用者百分比,包括未有進行實驗的應用程式內產品。 請注意:這是瞭解買家轉換率和擴大付費使用者群的主要數據。 |
買家人數 | 在指定時間內以實驗價格購買最少一個應用程式內產品的不重複使用者。 |
新安裝者收益 | 在實驗開始日期後首次在任何裝置上安裝應用程式,並首次看到實驗價格的使用者產生的總收益。請注意,部分使用者選擇不與 Google 分享這項資料。 |
訂單數目 | 指定時段內實驗中購買的實驗應用程式內產品數量。 |
收益 | 實驗中購買應用程式內產品的實驗使用者在指定時段內產生的總收益。 |
下表列出數據定義匯出 CSV 檔案的欄位、格式和例子。
欄位 |
格式 | 範例和備註 |
---|---|---|
日期 | 字串 |
訂單的日期以太平洋時區為準 (採用 MMM DD, YYYY 格式)。 |
SKU ID | 字串 |
開發人員指定的應用程式內產品獨特 ID。 |
產品名稱 | 字串 |
開發人員指定的應用程式內產品名稱。 |
國家/地區 | 字串 |
相關應用程式內產品數據的獨特國家/地區代碼。 |
實驗組 | 字串 |
相關應用程式內產品數據的實驗組。 |
開發人員貨幣 |
字串 |
訂單的兌換貨幣。這是指你收款時所用的當地貨幣。 |
收益 | 數值 |
指定日期、國家/地區和實驗組的特定應用程式內產品總收益。 |
新安裝者收益 | 數值 |
在實驗開始日期後首次在任何裝置上安裝應用程式,並首次看到價格的使用者產生的總收益 (指定日期、國家/地區和實驗組的特定應用程式內產品)。請注意,部分使用者選擇不與 Google 分享這項資料。 |
訂單數目 | 數值 |
指定日期、國家/地區和實驗組的特定應用程式內產品訂單總數。 |
買家人數 | 數值 |
指定日期、國家/地區和實驗組的特定產品買家總人數。買家指在實驗期間購買特定應用程式內產品的使用者。 |
常見問題
可在哪些國家/地區進行實驗?只有符合下列條件的國家/地區可進行價格實驗:
- 已在當地推出發佈版本的國家/地區 (包括在內部測試發佈途徑);
- 支援當地貨幣的國家/地區。
如資料量太低,便沒有資料。此外,部分在實驗分析頁面顯示的資料可能會延遲達七天才顯示。
可以。請注意,如對與定價範本連結的應用程式內產品進行實驗,這些實驗中的國家/地區價格將在實驗期間被鎖定。不過,你仍可以變更其他國家/地區的價格。
如果你選擇在實驗結束時套用新價格,所有實驗中的應用程式內產品會與相關的定價範本解除連結,而定價範本將保持不變。如想套用實驗結果,但不想應用程式內產品與定價範本解除連結,請直接前往「定價範本」頁面 (按一下 [設定] > [定價範本]) 更新價格。
如要瞭解詳情,請參閱「定價範本」。
否,只可在按國家/地區定義的價格範圍上下限內測試實驗價格。在實驗設定中輸入價格變更時,如果變更的價格已達上限或下限,系統會自動使用上限或下限的價格。如要查看按國家/地區劃分的可用貨幣和價格範圍清單,請參閱「支援向 Google Play 使用者發行商品的地區」。
否,只要與任何版本的 Google Play 帳單系統整合,即可進行價格實驗。
建議不要同時進行多個 A/B 實驗,以確保得出具意義的結果。例如,Firebase 在「Play 管理中心」中的運作獨立於價格實驗,任何對特定應用程式內產品的干擾可能會影響實驗結果的可靠性。
我們使用 jackknife (可透過重新取樣預計方差的統計工具) 計算置信區間,然後套用混合序貫機率測試,以控制持續監察導致的過高誤測率。統計顯著性於置信區間並非與零相交時得出。
實驗會在得出具統計顯著性的結果,或達六個月最長實驗時限 14 天後自動停止。我們不會在實驗設定時顯示的預計持續時間停止實驗,但會在偵測到具統計顯著性差異時停止實驗,並容許在 14 天內套用新定價,價格之後會還原。
否,這是不可能,使用者在實驗持續期間只會看到一個價格。
否,這是不可能,因為實驗已開始以你最初選擇的參數收集結果。你可以同時進行第二個實驗並選取更多國家/地區,或結束目前的實驗,然後設定新實驗。請注意,如果應用程式內產品和國家/地區重疊,你需要等侯 30 天才能設定新實驗。
系統對所有國家/地區參與實驗的產品計算具統計顯著性的結果,而不是為每個組合獨立計算。如你有意調整特定國家/地區的價格,建議在實驗設定中只選取該國家/地區。
可以,即使價格已還原,你仍可以套用變數。
如果實驗中的應用程式內產品沒有產生與對照組顯著不同的收益,或沒有足夠資料,則結果會被視為不明確。這個結果表示買家可能對兩個價格並不在乎。
一般而言,樣本較大,力度會較大。如果你計劃測試的單一應用程式內產品對很多買家來說是最熱門的產品之一,你便可能值得單獨測試該應用程式內產品,否則建議測試多個應用程式內產品,以增加實驗的力度。
如有多個應用程式內產品在某程度上可互換 (例如 0.99 美元購買 60 個應用程式內貨幣單元及 4.99 美元購買 300 個應用程式內貨幣單元),則建議一起測試兩種應用程式內產品,以避免自我蠶食。
建議進行一個變數的實驗,以原價的應用程式內產品為對照組,並以折扣價格的應用程式內產品作為變數。兩個變數的實驗以原價的應用程式內產品作為對照組,並為同一個應用程式內產品設定兩個不同價格點。這類實驗的結果可以很難詮釋,且雙變數實驗比單變數實驗需要更多時間才能得出具統計顯著性的結果。
如置信區間的效應中不包括零值,我們會視之為具統計顯著性的結果。在這個情況下,效應是對照組與變數花費的差異。
以下例子顯示明確陽性結果的置信區間:
以下例子顯示明確陰性結果的置信區間:
以下例子顯示不明確結果且需要更多資料的置信區間:
是,我們持續監察使用者位置仿冒情況,並制定措施來減輕對開發人員及其產品的影響。
相關內容
- 進一步瞭解價格實驗及相關功能
- 前往 Google Play 學院完成價格實驗課程。