總覽
您可以運用價格實驗進行 A/B 版本測試,然後根據實驗結果和各地市場的購買力,更有把握地對應用程式內商品的價格做出準確調整。此外,也可以在核心市場測試不同價位的效果,並與控制組價格進行比較,進而提升收益。若想確保您的應用程式採用最佳定價策略,最好是根據每個國家/地區的情況,分別設定合適的應用程式內商品價格。這樣一來,即可達成收益持續增加,新使用者也絡繹不絕的效果。本功能是以應用程式內商品定價及銷售活動為依據,因此僅限販售商品的開發人員使用。
準備並進行價格實驗
以下章節將提供有關價格實驗的指引與重要資訊,讓您瞭解具體的準備與實施方式,並學會解讀結果。
事前準備
開始在 Play 管理中心設定價格實驗前,請先展開並閱讀以下各節說明。
必要條件 重要資訊一般資訊
- 價格實驗是以應用程式為單位進行,無法跨應用程式進行實驗。
- 實驗時間最長六個月,期滿後就會恢復原價。如果實驗提前獲得具統計顯著性的結果,實驗商品的價格也將於 14 天後恢復原價。
- 單一實驗最多可測試 1,000 項應用程式內商品。
- 若要針對相同的應用程式內商品和國家/地區進行同樣的實驗,必須在原本的實驗結束後等待至少 30 天,才能這麼做。
- 您無法暫停實驗,如果不想繼續實驗,就必須完全停止實驗。不過,實驗停止後就無法重啟。
國家/地區限制
- 在任何國家/地區,一次只能進行一項實驗。舉例來說,如果已在挪威進行實驗,就必須先停止原本的實驗並建立其他實驗,才能在當地另行測試不同產品的價格。
- 測試價格必須在針對應用程內商品規定的價格範圍內。如果價格調幅結果不在實驗國家/地區適用的價格範圍內,系統將自動採用此範圍內的最高或最低價格。
- 每項實驗最多可設置兩個變化版本和一個控制組價格。
- 實驗範圍僅限所選國家/地區,不含相關獨立稅率地區。舉例來說,如果在法國進行實驗,實驗範圍將不含以下法屬領地:法屬圭亞那、法屬波里尼西亞、瓜地洛普、馬丁尼克、馬約特島、新喀里多尼亞、留尼旺、聖巴瑟米、聖馬丁、聖皮埃與密克隆群島、瓦利斯和富圖那群島。
對應用程式內商品的調整
- 實驗期間無法調整相關應用程式內商品的價格,要調整價格就必須停止實驗。以下是注意事項:
- 唯一的例外是,您可以在進行兩項實驗時,套用第一項實驗的結果。此外,如果應用程式內商品已連結至定價範本,您就只能針對實驗範圍以外的國家/地區調整該商品的價格。
- 如果在實驗期間設定新的應用程式內商品,這類商品將不會列入實驗。
進行實驗及套用結果
- 您隨時可以套用實驗價格,但建議等到取得具統計顯著性的結果後再這麼做,並且只套用成效優於控制組的價格變更。
- 實驗開始後,就無法將更多國家/地區或商品列入實驗範圍。
- 如果您已將一或多項商品連結至定價範本,套用價格不只會更新實驗國家/地區的價格,也會取消這些商品與範本的連結。
實驗相當注重統計術語的運用。如果不熟悉術語,可以參考下列詞彙解釋。
字詞 | 定義 | 附註 |
---|---|---|
信賴區間 |
值的範圍,表示結果是否達到統計顯著程度的不確定性。 |
這是用於解讀實驗結果的關鍵信號。當信賴區間不含 0,就表示已取得具統計顯著性的結果。 在實驗最初幾天,系統可能會因為資料量不足而未顯示這項資訊。 |
信賴水準 |
在變化版本與控制組之間觀測到的差異屬實的機率。 例子:信賴水準為 90%,表示觀測到的差異有 10% 是偶然因素導致。換句話說,若控制組與變化版本沒有差異,則受測資料出現的機率不到 10%。 |
|
控制組 | 實驗組中的原始測試變數,包含應用程式內商品的原價。 | 控制組價格的顯示對象為設定時所分配的部分實驗對象,以及實驗範圍外的所有使用者。 |
實驗結果 | 實驗的結果。 | 可能的實驗結果列於下節。 |
偽陽性 | 陰性事件誤歸為陽性的情況。 |
如果系統偵測到控制組與變化版本的消費額差異達到統計顯著程度 (陽性),但實際上兩者的消費額差異並未達到統計顯著程度 (陰性),即視為偽陽性。 偽陽率是偽陽性數量與實際陰性事件總數的比率。 |
應用程式內商品 |
使用者支付一次性費用購買的商品。 這類商品涵蓋在 Google Play 上架的應用程式所提供的虛擬商品 (例如遊戲等級或藥水) 與付費服務。 |
您可以選擇一或多項應用程式內商品,最多可以測試 2,000 項商品。一般來說,如果控制組和變化版本存在差異,那麼資料越多,偵測到差異所需的時間就越短。 同時進行很多商品的價格調整實驗,可以減少商品間可能出現的侵蝕效應。 |
最小可檢測效果 (MDE) |
設定實驗時,您需要選擇這個值來指定希望實驗檢測到的成效升幅。這可以想成在決定實驗靈敏度,因為所選的值會影響預計達到統計顯著程度所花費的時間。選擇 MDE 後,即可看到根據所選歷來資料,預計要多少時間才會達到顯著統計程度。 舉例來說,MDE 越小表示實驗靈敏度越高,預計達到統計顯著程度所需的時間就越長。 |
|
新奇效應 | 這是指使用者可能會偏好新的特色商品 (例如新商品或價位),或想嘗試這類商品的一種現象,即使新商品的效益或吸引力比不上原有的商品,他們仍會傾向嘗試這些新選擇。在此情況下,成效升幅通常會隨著時間每況愈下。 | 迅速取得結果的實驗可能是受到新奇效應的影響。建議您根據計算統計顯著程度所需的預估週數,將這種效應列入考量。 |
統計顯著程度 | 在 A/B 版本測試中,這是用來判定控制組和變化版本之間的差異是真實存在,還是偶然出現的基準。 |
如果信賴區間不含零的效果值,即視為已取得具有統計顯著性的結果。這裡的效果是指控制組和變化版本的消費額差異。 如要瀏覽信賴區間的圖例,請參閱下方的「常見問題」一節。 |
變化版本 | 實驗組中原始測試變數的變化版本。 | 變化版本是應用程式內原價產品調漲或調降後的價格。 |
設定實驗
設定實驗時,建議加入所有可相互替換的應用程式內商品 (例如遊戲代幣),以減少侵蝕效應的影響。
如果處理的資料量偏低,實驗或許會因為資料不足而無法取得結果。舉例來說,當您對新產品進行實驗時,預估實驗時間長度和警告訊息可能並不準確。在此情況下,Play 管理中心也許會顯示警告,說明所選時間範圍內的預測資料量非常低。如果收到資料量不足的訊息,表示可能無法取得足夠的實驗資料,這時或許可以微調實驗參數。請參閱建議採取的行動,瞭解如何排解資料量不足的問題。
反過來說,如果實驗時間較長,就要留意實驗結果可能受到全球匯率波動等經濟因素影響。
第 1 部分:新增詳細資訊
如要新增實驗詳細資訊,請執行下列步驟:
- 開啟 Play 管理中心,然後前往「價格實驗」頁面 (依序點選「透過 Google Play 營利」>「價格實驗」)。
- 按一下「建立實驗」。
- 在「新增詳細資訊」部分,輸入實驗的名稱和簡短說明 (選填)。
- 注意:使用者不會看到實驗名稱和簡短說明。
- 選取要實驗的國家/地區。
- 重要事項:價格實驗範圍僅涵蓋所選國家/地區,不含相關領地。以選擇法國為例,價格實驗範圍就只涵蓋法國本土,不含法屬圭亞那等相關領地。
- 在「產品」下拉式選單中,選擇要進行實驗的應用程式內產品。選單中會列出可選擇的應用程式內商品,包括名稱、ID 和價格。
- 重要事項:如果選擇的應用程式內商品已與定價範本連結,那麼在價格實驗期間,該範本將處於鎖定狀態。
- 選取開始日期。實驗將於所選日期的凌晨 0 點 (太平洋時間) 開始。您可以預先排定日後要進行的實驗。
- 點選「下一步」即可新增變化版本,繼續設定實驗。
若分析您的實驗設定後,系統預測收集的資料量不足以達到統計顯著程度,就會顯示警告。在這種情況下,我們會建議調整設定來收集更多資料,確保取得具統計顯著性的結果。想知道後續能採取哪些行動,請參閱「資料量不足的應變措施建議」。
資料量不足的應變措施建議您可以參考下列建議來減少達成顯著統計程度需要的資料量,縮短實驗時間。
實驗設定步驟 |
建議做法 |
---|---|
第 1 部分:新增詳細資訊 | 增加實驗中的國家/地區數量。 |
第 1 部分:新增詳細資訊 | 全面測試應用程式內所有產品,或增加應用程式內產品數量。 |
第 2 部分:新增變化版本 | 將兩個變化版本減為一個。 |
第 2 部分:新增變化版本 |
增加降價幅度,採用更低的實驗價格。 注意:這不會影響初始預測結果,但在實驗期間將有所幫助。 |
第 3 部分:管理設定 | 擴大每個變化版本的目標對象規模,比如控制組和實驗組各占一半比例。 |
第 3 部分:管理設定 |
提升最小可檢測效果。 注意:這只會影響變化版本與控制組有相同成效的實驗。 |
第 3 部分:管理設定 | 降低信賴水準。 |
第 2 部分:新增變化版本
在「新增變化版本」部分,您可以添加或移除價格變化版本。價格實驗至少必須含有一個變化版本。以下是新增變化版本的步驟:
- 在下拉式選單中選擇「調高價格」或「調降價格」,然後輸入要套用至選項的百分比。請注意以下事項:
- 必須輸入整數。
- 如果選擇「調降價格」,就必須輸入介於 1 與 99 的值。
- 如果選擇「調高價格」,則必須輸入介於 1 與 999 的值。
- 新增變化版本後,頁面就會顯示控制組和變化版本的價格範圍。點選「查看商品價格」即可瀏覽詳細資訊,包括商品名稱和 ID、獨立稅率地區 (如適用) 以及稅務資訊。這裡會顯示根據匯率和各國家/地區的定價模式,按指定百分比調整後的實際價格。
- 如要在實驗中加入多個變化版本,請按一下「+ 新增其他變化版本」,然後重複上述步驟。設定完畢後,同樣會在頁面上看到控制組和變化版本的價格範圍。
- 點選「下一步」即可微調實驗設定。
第 3 部分:管理設定
在「管理設定」部分,您可以設定指定目標參數來微調實驗。以下是管理實驗設定的步驟:
- 輸入實驗對象,也就是有多少比例的使用者將參與實驗。控制組和每個變化版本將分配到均等人數。請注意,未參與實驗的使用者也會看到原價 (即控制組價格),但相關資料不會列入實驗分析。
- 注意:您必須輸入介於 1 與 100 的整數。
- 選擇信賴水準。降低信賴水準會使偽陽性出現的機率增加,但也會縮短實驗時間。
- 選擇最小可檢測效果,這表示希望實驗偵測到的成效升幅。這可以想成在決定實驗靈敏度,會影響預計達到統計顯著程度所花費的時間。
- 修改指定目標參數來微調實驗。系統會從相關設定推估達到統計顯著程度所需的時間,您可以據此調整設定。
第 4 部分:開始實驗
現在可以開始實驗了。實驗期間,所選應用程式內商品在指定國家/地區的價格將有所變動。您隨時都能結束實驗。
- 開始實驗前,請務必瞭解下列事項:
- 實驗可能影響應用程式收益。請注意,如未取得具統計顯著性的結果,任何呈現收益增加或減少的結果可能都沒有太大意義,因此建議您在達到統計顯著程度後再採取行動。
- 實驗期間無法調整相關應用程式內商品的價格。
- 套用實驗結果會影響實驗涵蓋的所有國家/地區和應用程式內商品。
- 按一下「確認並開始實驗」。
選用:結束實驗
您隨時都能結束實驗。
- 開啟 Play 管理中心,然後前往「價格實驗」頁面 (依序點選「透過 Google Play 營利」>「價格實驗」)。
- 開啟要結束的實驗。
- 按一下「結束實驗」。
實驗結束後,實驗價格將還原為相關國家/地區和應用程式內產品的原價。實驗與分析都將停止運作。
如果您排定了日後要進行的實驗,也可以按照上述步驟提前取消。但請注意,若是在預定開始日期之前的 24 小時才取消實驗,系統可能仍會按時進行實驗一段時間。
查看實驗結果及套用變化版本
您有必要瞭解各種可能的實驗結果,以及這些結果對於應用程式和定價策略的意義。套用結果前,請仔細閱讀本節說明。
查看並分析實驗結果
當系統判定實驗已取得具統計顯著性的結果,就會將結果顯示在分析頁面,您也會在收件匣中收到通知。
查看結果
您可以查看實驗的結果和分析資料,只要前往「價格實驗」頁面 (依序點選「透過 Google Play 營利」>「價格實驗」),然後按一下實驗旁邊的向右箭頭,即可進入實驗分析頁面。
實驗結果會顯示在接近頁面頂端的位置,如要查看各種結果與代表的意義,請展開下方的「可能的實驗結果」一節。實驗結果底下會顯示簡短說明。比如,您可能看到實驗結果是「變化版本 [X] 的成效最佳」,下方則有類似「變化版本 [X] 的收益增幅最高」的簡短說明。若變化版本的成效與控制組持平或優於控制組,即可點選「套用變化版本 [X]」,比照變化版本來更新應用程式內商品的定價。如需更多資訊,請參閱「套用變化版本」。
注意:實驗將在達成確定結果的 14 天後自動結束。另外,點選「結束實驗」也能立即終止實驗。
查看佐證資料
實驗結果下方的表格會顯示依據的統計資料。這份表格會列出變化版本、收益、與控制組收益的差距 (以及差距百分比),還有變化版本的信賴區間。如要瞭解實驗分析頁面上的各種指標,請展開下方的「指標定義」一節。
在表格底下的「佐證資料」部分,您可以瀏覽更精細的資料。根據預設,圖表會顯示截至取得資料的最新日期為止,變化版本與控制組的收益對比資訊。這個檢視畫面中的陰影區域代表信賴區間,此圖表會呈現信賴區間隨時間變化的趨勢。您可以使用圖表右上方的時間長度與日期篩選器,調整所選時間範圍及日期。
此外,也可以利用圖表左上方的指標篩選器,顯示下列指標:收益、訂單數、買家人數、買家比率,以及單一付費使用者平均收益。如要瞭解這些指標,請參閱「指標定義」。如果選擇其他指標,圖表就不會顯示信賴區間,因為這項資訊是以收益為依據。
如要查看更多產品層級的詳細資訊,也可以將實驗結果匯出成 CSV 檔案。您可以展開「指標定義 (CSV 匯出資料)」一節,瀏覽這類資料的欄位、格式及示例。
套用變化版本
套用變化版本前,請注意下列事項:
- 如果您的一或多項應用程式內商品已連結至定價範本,套用變化版本將不只會更新實驗國家/地區的價格,也會取消這些商品與範本的連結。
- 套用變化版本時,只能將設定全面套用至實驗中的應用程式內商品和國家/地區。系統是以所有設定為依據計算統計顯著程度,因此如果只將變化版本套用到所設定的部分國家/地區與應用程式內商品,就無法保證能夠取得相同結果及成效。
若變化版本的成效等同或優於控制組,您可以套用變化版本來更新定價,步驟如下:
- 開啟 Play 管理中心,然後前往「價格實驗」頁面 (依序點選「透過 Google Play 營利」>「價格實驗」)。
- 找出要套用的變化版本,接著按一下旁邊的「套用變化版本」。
應用程式內商品的定價將更新為變化版本設定的價格。實驗將在達成確定結果的 14 天後自動結束。另外,點選「結束實驗」也能立即終止實驗。
可能的實驗結果實驗會有幾種可能的結果,您可以根據實驗結果,決定後續行動。
實驗結果 | 意義 | 附註/建議 |
---|---|---|
變化版本 [X] 的成效最佳 | 實驗已取得具統計顯著性的有意義結果:變化版本 [X] 的收益增幅最高。 | 請套用變化版本 [X],因為該版本的成效明顯優於控制組和其他版本。 |
兩個變化版本的成效都優於控制組 | 兩個變化版本的收益都高於控制組。請查看結果並決定要套用哪個變化版本。 | 您可以決定要套用的變化版本。 |
變化版本的成效和控制組相同 | 所有變化版本的收益都未高於控制組。 | 實驗收集到足夠資料,結果顯示變化版本與控制組的成效相同。 |
控制組的成效最佳 | 控制組的收益高於兩個變化版本。 | 這表示實驗涵蓋的國家/地區和產品目前已設定最佳價位。針對這些產品和國家/地區,請繼續採用控制組價格。 |
需要更多資料 | 實驗進行中。我們需要更多資料才能判定具有統計顯著性的結果。 | 如要決定後續行動,請參閱「資料量偏低時的建議做法」。 |
結果不明確 | 實驗已提前停止,或已達六個月時間上限。現有資料不足以產生具統計顯著性的結果,請嘗試以其他設定進行新實驗。 | 如要決定後續行動,請參閱「資料量不足的應變措施建議」。這可能表示在實驗國家/地區,應用程式內商品的價格無法吸引買家。 |
這份表格列出實驗分析頁面的指標。
指標 | 定義 |
---|---|
所有商品收益 | 在指定期間,實驗參與者購買實驗範圍內外的應用程式內商品所產生的總收益。 |
單一付費使用者平均收益 (ARPPU) | 在指定的實驗期間,應用程式內產品總收益除以不重複買家 (至少購買一次實驗範圍內外的應用程式內產品) 人數。這項指標有助於瞭解買家為業務帶來的價值。 |
買家比率 (28 天) |
每月活躍使用者中,在實驗期間至少購買一次應用程式內商品 (包括實驗範圍外的應用程式內商品) 的使用者所占百分比。 注意:如果想瞭解買家轉換情形,並擴大付費使用者族群,這是很重要的指標。 |
買家人數 | 在指定期間,以實驗價格購買至少一項應用程式內商品的不重複使用者人數。 |
首次安裝者帶來的收益 | 實驗開始後,首次在任何裝置上安裝應用程式並看到實驗價格的使用者帶來的總收益。請注意,有些使用者選擇不為 Google 提供這類資料。 |
訂單數 | 在指定的實驗期間,使用者購買實驗性的應用程式內商品次數。 |
收益 | 在指定期間,實驗參與者購買相關應用程式內商品帶來的總收益。 |
這份表格列出透過 CSV 檔案匯出的資料欄位、格式和示例,並說明指標定義。
欄位 |
格式 | 示例與附註 |
---|---|---|
Date | 字串 |
以太平洋時區為準的訂單日期,格式是 MMM DD, YYYY (月份 日期, 年份)。 |
SKU ID | 字串 |
開發人員指定的應用程式內商品專屬 ID。 |
Product Title | 字串 |
開發人員指定的應用程式內商品專屬名稱。 |
Country | 字串 |
相關應用程式內商品指標的專屬國家/地區代碼。 |
Experiment Arm | 字串 |
相關應用程式內商品指標的實驗組。 |
Developer Currency |
字串 |
訂單金額換算幣別;這是系統向您付款時採用的當地幣別。 |
Revenue | 數字 |
指定應用程式內商品的總收益,這是根據日期、國家/地區和實驗組計算得出。 |
New Installer Revenue | 數字 |
實驗開始後,首次在任何裝置上安裝應用程式並看到實驗價格的使用者帶來的總收益。這是根據日期、國家/地區、實驗組和指定應用程式內商品計算得出。請注意,有些使用者選擇不為 Google 提供這類資料。 |
Orders | 數字 |
指定應用程式內商品的訂單總數,這是根據日期、國家/地區和實驗組計算得出。 |
Buyers | 數字 |
指定應用程式內商品的買家總數,這是根據日期、國家/地區和實驗組計算得出。買家是指在實驗期間購買該商品的使用者。 |
常見問題
可以在哪些國家/地區進行實驗?您只能在符合下列條件的國家/地區進行價格實驗:
- 您已在當地推出版本 (包括內部測試群組版本) 的國家/地區。
- 支援當地幣別的國家/地區。
如果實驗獲得的資料量極為有限,系統就不會顯示任何資料。此外,有些資料最久可能會延遲七天才顯示在這個頁面上。
可以。請注意,針對連結至定價範本的應用程式內商品進行實驗時,無法變更實驗所涵蓋國家/地區的價格,但仍可修改其他國家/地區的價格。
若在實驗結束時選擇套用新價格,系統就會取消實驗中所有應用程式內商品與定價範本的連結,而這類範本將維持不變。如果希望套用實驗結果時,不會取消應用程式內商品與定價範本的連結,請前往「定價範本」頁面 (依序點選「設定」>「定價範本」) 更新價格。
如需更多資訊,請參閱「定價範本」。
不可以,實驗價格只能落在各國家/地區接受的最低與最高價格之間。設定實驗時,如果輸入的價格調整幅度會導致實驗價格低於或超過可接受的範圍,系統會自動採用此範圍內的最低或最高價格。如要查看各國家/地區接受的價格範圍和幣別清單,請參閱「可向 Google Play 使用者發行商品的支援地區」。
不需要。只要整合任何版本的 Google Play 結帳系統,就能進行價格實驗。
您可以在可下載的每月財務報表 (預估銷售報表和收益報表) 中查看所有實驗商品的訂單,包括使用者在進行價格實驗的國家/地區,以控制組和變化版本的價格購買哪些應用程式內商品。
為確保取得有意義的結果,建議您不要同時進行任何 A/B 版本實驗。舉例來說,Firebase 與 Play 管理中心的價格實驗是分開運作,而前者對於特定應用程式內商品的任何干擾,都可能影響實驗結果的可靠性。
我們以摺刀法 (以重新取樣來評估變異數的統計方法) 計算信賴區間,接著採用混合逐次機率檢定,防止在連續監測下出現偽陽率過高的情形。當信賴區間不含零,就表示已取得具統計顯著性的結果。
如果取得具統計顯著性的結果後過了 14 天,或者已達六個月時間上限,實驗就會自動停止。系統不會按照實驗設定頁面所列的預估時間停止實驗,而是在偵測到具統計顯著性的差異後停止實驗,屆時開發人員可以在 14 天內套用新定價。如果逾期未套用新定價,商品則會恢復原價。
這是不可能的。在實驗期間,每位使用者都只會看到一種價格。
不可以,因為系統已開始按照您當初選擇的參數收集實驗結果。您可以選擇在其他國家/地區同時進行第二項實驗,或是結束目前的實驗,然後重新設定實驗。請注意,如果實驗的應用程式內商品和國家/地區有所重複,就要等待 30 天才能設定新實驗。
計算統計顯著程度時,系統會統計所有國家/地區和實驗商品的資料,而不是分別計算每個組合的資料。如果想調整特定國家/地區的價格,建議您在設定實驗時只選擇該國家/地區。
可以。即使在價格還原後,依然可以套用變化版本。
如果應用程式內實驗產品並未帶來明顯有別於控制組的收益,或者資料不足,系統就會判定結果不明確。這類結果可能表示兩種價格都無法吸引買家。
一般來說,樣本數越多,實驗效果就越好。如果您計劃測試的某項應用程式內商品廣受買家青睞,那麼單獨針對這項商品進行測試或許會很有價值。若非如此,那麼建議同時測試多項應用程式內商品,因為這樣實驗效果更好。
如有許多某種程度上可相互替換的應用程式內商品 (例如 $0.99 美元可購買 60 個應用程式內貨幣,而 $4.99 美元能買到 300 個應用程式內貨幣),那麼最好同時測試這些應用程式內商品,以免發生侵蝕效應。
一般來說,建議您進行只含單一變化版本的實驗,也就是將應用程式內商品的原價做為控制組,折扣價格做為變化版本。如果實驗有兩個變化版本,就表示應用程式內商品的原價是控制組,其他兩個不同價位是變化版本。這類實驗的結果可能難以解讀,比起只有單一變化版本的實驗,也需要更多時間才能取得具統計顯著程度的結果。
如果信賴區間不含零的效果值,即視為已取得具有統計顯著性的結果。這裡的效果是指控制組和變化版本的消費額差異。
以下是可能產生明確正面結果的信賴區間示例:
以下是可能產生明確負面結果的信賴區間示例:
以下是可能需要更多資料才能得到明確結果的信賴區間示例:
我們會持續密切留意使用者偽造定位資訊的狀況,並採取措施來降低對開發人員和產品的影響。
相關內容
- 進一步瞭解價格實驗和相關功能。
- 完成 Google Play 學習中心的價格實驗課程。