스토어 등록정보에서 A/B 테스트 실행하기

Google은 개발자가 더 효과적으로 제어하고 안정적인 통계를 얻을 수 있도록 최근 Play Console의 스토어 등록정보 실험을 일부 변경했습니다. 다음과 같은 3가지 새로운 기능이 추가되었습니다.

  • 실험 매개변수 구성
  • 실험을 완료하는 데 필요한 샘플 및 시간을 계산하는 계산기
  • 지속적인 모니터링이 가능한 신뢰 구간 

이 페이지는 이러한 변경사항을 반영하도록 업데이트되었습니다. 

이 페이지에서 설명하는 기능은 아직 모든 개발자에게 제공되지 않습니다.

Google Play에서 스토어 등록정보 페이지를 최적화하기 위해 실험으로 앱에 가장 효과적인 그래픽과 현지화된 텍스트를 찾아볼 수 있습니다. 실험은 기본 및 맞춤 스토어 등록정보 페이지를 대상으로 진행할 수 있습니다.

게시된 앱의 경우, 여러 변형을 테스트하여 현재 버전과 비교함으로써 설치 데이터를 바탕으로 실적이 가장 우수한 버전을 알아낼 수 있습니다. 테스트를 설정하기 전에 효과적인 실험 진행을 위한 권장사항을 확인하세요.

참고: 글로벌 실험의 이름이 기본 그래픽 실험으로 변경되었습니다. 기능은 이름이 변경되기 전과 동일합니다.

실험 유형

앱별로 기본 그래픽 실험 1개 또는 현지화된 실험 최대 5개를 동시에 실행할 수 있습니다.

기본 그래픽 

기본 그래픽 실험을 사용하면 앱의 기본 스토어 등록정보 언어로 된 그래픽을 실험해 볼 수 있습니다. 이때 앱의 아이콘, 그래픽 이미지, 스크린샷, 홍보 동영상의 변형을 포함할 수 있습니다.

  • 앱의 스토어 등록정보가 하나의 언어로만 제공되는 경우: 기본 그래픽 실험이 모든 사용자에게 표시됩니다.
  • 특정 언어로 현지화된 그래픽 저작물을 추가한 경우: 현지화된 언어로 앱을 이용하는 사용자는 앱의 기본 그래픽 실험에서 제외됩니다. 예를 들어 앱의 기본 언어가 영어인데 프랑스어로 현지화된 그래픽 이미지가 있다면, 아이콘 실험을 진행하는 경우에도 프랑스어로 앱을 이용하는 사용자는 실험에서 제외됩니다.
현지화된(텍스트 및 그래픽) 실험

현지화된 실험을 사용하면 앱의 아이콘, 그래픽 이미지, 스크린샷, 홍보 동영상 또는 앱의 설명을 최대 5개의 언어로 실험할 수 있습니다. 내가 선택한 언어로 앱의 스토어 등록정보를 보는 사용자에게만 실험 버전이 표시됩니다.

앱의 스토어 등록정보를 하나의 언어로만 볼 수 있는 경우 현지화된 실험은 앱의 기본 언어로 앱을 보는 사용자에게만 표시됩니다.

1단계: 실험 만들기

Play Console에서 실험을 만들려면 다음 단계를 따르세요.

  1. Play Console을 열고 스토어 등록정보 실험 페이지(성장 > 앱 정보 > 스토어 등록정보 실험)로 이동합니다.
  2. 실험 만들기를 클릭합니다.
  3. 실험 세부정보를 입력합니다.
    • 실험 이름: 실험 이름을 입력합니다(영문 기준 50자 이하).
    • 스토어 등록정보: 실험을 진행할 스토어 등록정보를 선택합니다.
    • 실험 유형: 기본 그래픽 실험 또는 현지화된 실험을 선택합니다.
  4. 다음을 클릭합니다.
  5. '2단계: 실험 설정'의 안내에 따릅니다.

2단계: 실험 설정

실험을 생성했다면 테스트할 스토어 등록정보, 변형, 속성을 선택할 수 있습니다.

실험을 설정하는 방법은 다음과 같습니다.

  1. 화면에 표시된 안내에 따라 스토어 등록정보를 선택하고 타겟 측정항목, 실험 대상, 변형, 기타 설정 등의 실험 목표를 추가합니다.
  2. 실험을 시작하려면 페이지 상단으로 이동하여 실험 실행을 클릭합니다.
  3. 나중에 실험 설정을 완료하려면 저장을 클릭합니다.
필드 설명, 예시, 도움말 보기

실험을 설정할 때 아래와 같은 스토어 등록정보 정보를 입력해야 합니다.

필드 설명 예시 및 도움말
실험 이름

실험 이름은 실험을 식별하기 위해 Play Console에만 표시되며 사용자에게는 표시되지 않습니다.

  • '밝은 아이콘 실험'
  • '로고 그래픽 이미지'
  • '새 슬로건을 사용한 간단한 설명'
스토어 등록정보 테스트하려는 스토어 등록정보(기본 또는 맞춤)입니다.

실험을 시작하면 맞춤 스토어 등록정보의 이름이 실험 시작 시의 이름과 함께 표시됩니다. 실험이 시작된 후 맞춤 스토어 등록정보 이름을 업데이트해도 실험에서는 변경되지 않습니다.

실험을 진행하는 동안 혼란을 피하기 위해 사용하지 않는 맞춤 스토어 등록정보를 삭제한 다음 필요할 때 새로 만드는 것이 좋습니다.


실험을 설정할 때 아래와 같은 실험 목표 정보를 입력해야 합니다. 이 설정은 실험의 정확성, 결과를 도출하는 데 필요한 설치 사용자 수에 영향을 줍니다.

필드 설명 예시 및 도움말
타겟 측정항목 실험 결과를 결정하는 데 사용될 측정항목입니다.

다음과 같은 두 가지 옵션이 있습니다. 

  • 처음 설치한 사용자 중 설치 상태를 유지한 사용자(권장): 앱을 처음 설치한 후 설치한 상태를 1일 이상 유지한 사용자 수입니다.
  • 처음 설치한 사용자: 앱 유지 여부와 관계없이 앱을 처음 설치한 사용자 수입니다.
변형 현재 스토어 등록정보의 비교 대상으로 테스트하려는 실험용 변형의 수입니다. 변형을 1개만 테스트하면 실험을 완료하는 데 걸리는 시간이 줄어듭니다.

실험에 새 버전을 추가하려면 변형 드롭다운에서 다른 옵션을 선택하세요.

실험마다 현재 버전 외에 변형을 3개까지 추가할 수 있습니다.

실험 대상

스토어 등록정보 방문자 중 현재 등록정보 대신 실험용 변형이 표시될 사용자의 비율입니다. 

이러한 방문자는 실험용 변형별로 균등하게 분할됩니다.

대상으로 30%를 지정하면 스토어 등록정보 페이지를 방문하는 나머지 70%의 사용자에게는 페이지의 현재 버전이 표시됩니다.

예를 들어 대상을 30%로 지정했고 실험에 2개의 변형이 있다면 각 변형이 사용자의 15%씩에 표시됩니다.

실험이 진행되는 동안 각 사용자에게는 변형 하나와 페이지의 현재 버전 둘 중 하나만 표시됩니다.

최소 감지 효과 실적이 더 우수한 항목을 선언하는 데 필요한 변형과 대조군 사이의 최소 차이입니다. 차이가 이보다 적으면 두 항목은 차이가 없는 것으로 간주됩니다.  
신뢰 수준 실험이 제공하는 신뢰 구간이 스토어 등록정보의 실제 실적을 포함할 빈도입니다.

신뢰 수준을 높이면 거짓양성이 발생할 가능성이 낮아집니다.

참고: 실험의 신뢰 수준을 90%로 선택하는 것은 실험을 10번 한다고 가정했을 때 거짓양성이 한 번 보고될 수 있다는 의미입니다.

속성

현재 목록과 비교하여 테스트할 항목 유형을 선택합니다.

실험을 가장 효과적으로 실행하려면 한 번에 하나의 속성만 테스트합니다.

현지화된 실험에서는 간략한 설명과 자세한 설명만 테스트할 수 있습니다.

그래픽 저작물을 테스트하는 경우 크기 및 파일 형식 요구사항을 따라야 합니다.


실험 목표 정보를 입력할 때 예상치 수정을 클릭하면 아래 나열된 일일 예상치를 수정할 수 있으며, 이 값을 통해 실험 시간이 얼마나 소요될지 계산할 수 있습니다. 이 값은 관측된 실적에 따라 달라질 수 있습니다.

필드 설명 예시 및 도움말
신규 사용자 일일 방문 횟수 이전에 앱을 설치한 적이 없는 스토어 등록정보 방문자의 예상 수입니다.  
전환율 타겟 측정항목으로 전환될 방문자의 예상 비율입니다.

예를 들어 타겟 측정항목이 '처음 설치한 사용자'인 경우 전환율은 방문자 중에서 처음 설치한 사용자로 전환될 것으로 예상되는 비율입니다.

처음 설치한 사용자 중 설치 상태를 유지한 사용자

최초로 앱을 설치하고 1일이 경과한 후에도 설치 상태를 유지할 사용자의 예상 수입니다.

자세한 내용은 통계, 측정항목, 예시 설명 보기를 참고하세요.
처음 설치한 일일 사용자

스토어 등록정보에 방문하고 최초로 앱을 설치할 사용자의 예상 수입니다.

자세한 내용은 통계, 측정항목, 예시 설명 보기를 참고하세요.

3단계: 결과 검토 및 적용

결과를 검토하고 적용하려면 다음 단계를 따르세요.

  1. Play Console을 열고 스토어 등록정보 실험 페이지(성장 > 앱 정보 > 스토어 등록정보 실험)로 이동합니다.
  2. 검토할 실험의 표 행에서 오른쪽 화살표를 선택합니다. 아래 스토어 등록정보 실험 표에서 세부정보를 표시하는 방법을 자세히 알아보세요.
  3. '결과' 섹션에서 실험 결과 요약을 확인합니다. 결과는 타겟 측정항목에 기반합니다.

    결과를 보면 실적이 가장 우수한 옵션은 무엇인지, 현재 스토어 등록정보보다 우수한 실적을 거둔 옵션은 무엇인지 확인할 수 있습니다. 또한 신뢰 구간과 최소 감지 가능 효과를 기반으로 한 결과 설명 및 권장 조치(해당하는 경우)도 제공됩니다. 결과를 반환할 만큼 충분한 데이터가 수집되지 않은 경우 '추가 데이터 필요'라는 결과가 표시될 수 있습니다.
     
  4. 실험 결과에 따라 다음 작업이 달라집니다. 
    • 변형이 우수한 실적을 거두었다면 해당 변형을 적용하라는 추천이 표시될 수 있습니다.
    • '실험을 계속 진행하여 데이터를 더 수집하세요.'라는 결과가 표시되면 나중에 다시 방문하세요.
    • 상당수의 변형이 스토어 등록정보보다 우수한 실적을 거두었거나 '판정 불가'라는 결과가 표시되었다면 결과를 검토하여 어떠한 변형을 적용할지 결정합니다. 
    • 현재 스토어 등록정보의 실적이 가장 우수하다면 현재 등록정보 유지를 클릭해야 합니다.
스토어 등록정보 실험 표

실험을 설정하면 스토어 등록정보 실험 페이지에 다음과 같은 세부정보가 표시됩니다. 실험 세부정보는 아래와 같은 표 4개로 구성됩니다. 자세한 내용을 보려면 확인하려는 실험 표의 행에서 오른쪽 화살표를 선택하세요.

초안

  • 실험 이름: 실험 이름
  • 스토어 등록정보: 실험 중인 스토어 등록정보
  • 실험 유형: 기본 그래픽 또는 현지화된 그래픽
  • 세부정보: 특정 비율의 타겟 사용자에게 게재되는 변형 수

진행 중

  • 실험 이름: 실험 이름
  • 스토어 등록정보: 실험 중인 스토어 등록정보
  • 실험 유형: 기본 그래픽 또는 현지화된 그래픽
  • 시작일: 실험이 시작된 날짜
  • 세부정보: 게재되는 변형 수 및 사용자 비율

완료됨

  • 실험 이름: 실험 이름
  • 스토어 등록정보: 실험 중인 스토어 등록정보
  • 실험 유형: 기본 그래픽 또는 현지화된 그래픽
  • 시작일: 실험이 시작된 날짜
  • 세부정보: 게재되는 변형 수 및 사용자 비율
  • 결과: 실험 결과

지난 실험

  • 실험 이름: 실험 이름
  • 스토어 등록정보: 실험 중인 스토어 등록정보
  • 실험 유형: 기본 그래픽 또는 현지화된 그래픽
  • 시작일: 실험이 시작된 날짜
  • 종료일: 실험이 종료된 날짜
  • 상태: 적용됨 또는 적용되지 않음
통계, 측정항목, 예시 관련 설명 보기

실험을 선택하면 각 변형의 실적을 요약한 사용자 수 및 설치 수 측정항목을 볼 수 있습니다.

사용자 측정항목

측정항목 정의
처음 설치한 사용자

실험 중에 앱을 처음 설치한 순 사용자 수입니다. 잠재고객 점유율을 고려하여 데이터가 조정됩니다.

설치 후 제거하지 않은 사용자(1일)

실험 중에 앱을 처음으로 설치하고 설치 후 최소 1일 동안 제거하지 않고 유지한 순 사용자 수입니다. 잠재고객 점유율을 고려하여 데이터가 조정됩니다.

유지된 사전 등록(일부 Play 파트너에게만 제공됨) 사전 등록하고 하루 이상 사전 등록 상태를 유지한 사용자 수입니다.

결과

실험 결과를 표시하는 측정항목은 다음과 같은 두 가지 방법으로 확인할 수 있습니다.

  • 현재: 순 사용자 수
  • 확장된 값: 순 사용자 수를 잠재고객 점유율로 나눈 값

설치한 사용자에 관한 절댓값 데이터를 보려면 현재 데이터를 사용하세요. 다양한 잠재고객 점유율을 고려하여 확장된 데이터를 검토하려는 경우(예: 잠재고객 중 90%가 특정 버전을 이용했고 나머지 10%는 다른 버전을 이용) 조정된 데이터를 사용합니다.

항목 정의 및 예시
실적

현재 버전과 비교한 설치 수 실적의 예상 변동치입니다. 실험 데이터가 충분한 경우에만 실적이 표시됩니다. 일반적으로 실험을 더 오래 실행하고 더 많은 데이터를 수집할수록 변형의 실적 범위가 구체화되고 정확해집니다.

예: 변형 중 하나의 실적 범위가 +5% 에서 +15% 사이라면, 이 값 사이에 변동치가 존재함을 알 수 있습니다. 가장 가능성이 높은 실적 변동치는 두 수치의 중간인 +10% 정도가 됩니다.

설치 수(조정된 값)
  • 실험 기간 중 설치 수를 잠재고객 점유율로 나눈 값입니다.
  • 2019년 1월 24일 이전에 시작된 실험에 포함됩니다.
  • 예를 들어 2가지 변형에 각각 90%/10%의 잠재고객 점유율을 지정했으며 각 변형의 설치 수는 A = 900, B = 200인 경우, 조정된 설치 수는 A = 1000(900/0.9) 및 B = 2000(200/0.1)과 같이 표시될 수 있습니다.
설치 수(현재)
  • 현재까지 설치되어 있는 설치 수입니다.
  • 2019년 1월 24일 이전에 시작된 실험에 포함됩니다.

설치 수 측정항목(지원 중단됨)

다음은 2019년 1월 24일 이전에 시작된 실험에 사용된 측정항목입니다. 이 날짜 이전에 시작된 실험에는 이러한 통계가 계속 포함되지만, 새로운 실험에서는 처음 설치한 사용자 및 설치 후 제거하지 않은 사용자(1일) 사용자 측정항목만 사용됩니다.

측정항목 정의 및 예시
사용 중인 기기에 설치된 횟수
  • 현재 애플리케이션의 각 변형이 설치되어 있는 활성 기기의 수를 서로 다른 잠재고객 수준을 보완하기 위해 확장한 값입니다.
사용자 설치 수
  • 특정 날짜에 각 앱의 변형을 설치한 순 사용자의 수를 서로 다른 잠재고객 수준을 보완하기 위해 확장한 값입니다.
사용자 제거 수
  • 특정 날짜에 각 앱의 변형이 제거된 수를 서로 다른 잠재고객 수준을 보완하기 위해 확장한 값입니다.

지원 중단된 측정항목을 사용하는 실험

지원이 중단된 위의 측정항목을 사용하는 실험은 2019년 9월부터 자동으로 종료됩니다. 개발 계획 시 이 점을 고려하고 스토어 등록정보 실험에 최신 측정항목을 사용하세요. 

종료된 실험의 결과는 스토어 등록정보 실험 페이지의 종료된 실험에서 확인할 수 있습니다.

실험 알림 받아 보기

실험이 완료될 때 알림과 이메일을 받으려면 Play Console의 알림 페이지에서 환경설정을 구성하세요. 

이메일 알림에 관해 자세히 알아보려면 개발자 계정 정보 관리로 이동하세요.

도움이 되었나요?

어떻게 하면 개선할 수 있을까요?

도움이 더 필요하신가요?

다음 단계를 시도해 보세요.

false
검색
검색어 지우기
검색 닫기
Google 앱
기본 메뉴
13733250846703693946
true
도움말 센터 검색
true
true
true
true
true
92637
false
false