포스트

1점 후기가 갑자기 늘었다 — 별점 창을 이긴 판 뒤에만 띄우기로 바꾼 이야기

토스 오목에 글 없는 1점 후기 3건이 사흘 사이에 몰렸습니다. 후기 날짜를 유입 기록과 겹쳐 보니 성장 프로그램 신규 유입이 가장 많던 사흘이었고, 공용 별점 게이트는 이기든 지든 결과 화면 1.5초 뒤에 별점 창을 요청하고 있었습니다. 결과를 good/bad 로 넘겨 진 판에는 별점 창을 띄우지 않도록 계약을 바꾸고 게임 65개에 반영한 과정, 그리고 효과를 아직 숫자로 확인하지 못한 이유를 적었습니다

1점 후기가 갑자기 늘었다 — 별점 창을 이긴 판 뒤에만 띄우기로 바꾼 이야기

Read in English One-Star Reviews Suddenly Piled Up — So the Rating Prompt Now Waits for a Win

11월 6일 아침, 토스 오목의 후기 목록을 보다가 1점이 눈에 띄었습니다. 11월 2일에 두 건, 4일에 한 건. 세 건 모두 글 없이 별점만 남긴 후기였습니다. 오목은 9월에 낸 앱이고, 그 전까지 1점은 한 번도 없었습니다.

처음 든 생각은 단순했습니다. “AI 상대에게 지고 화가 나서 1점을 준 건가?” 이 글은 그 의심에서 출발해 실제 원인으로 보이는 것을 찾고, 공용 별점 게이트의 규칙을 “기분 좋은 결과 뒤에만”으로 바꾼 기록입니다. 결론부터 적으면, 첫 의심은 끝내 확인하지 못했고, 바꾼 규칙의 효과도 아직 숫자로는 확인하지 못했습니다. 그래도 바꾼 이유와 과정은 남겨 둘 만하다고 생각했습니다.

별점 창을 처음 넣을 때 정한 규칙은 후기 요청 창, 언제 띄울까에 적어 두었습니다. 이번 글은 그 규칙에 빠져 있던 조건 하나에 대한 이야기입니다.

후기 날짜와 유입을 겹쳐 보기

먼저 장부에 쌓인 오목의 토스 후기를 날짜순으로 늘어놓았습니다. 장부는 매일 콘솔에서 후기를 모아 CSV 로 남기는 도구입니다. 경계선은 10월 26일 11시, 오목이 앱인토스 성장 프로그램에 들어간 시각입니다.

기간후기 수1점2점비고
10/7~10/25 (프로그램 전)8건0건0건최저 3점 1건
10/26~11/5 (프로그램 중)9건3건1건1~2점 4건 모두 글 없음

1점 세 건은 11월 2일 11시대, 2일 22시대, 4일 19시대였고 2점 한 건은 3일이었습니다. 이 날짜를 성장 프로그램 성과 화면의 ‘유입 유저’ 일별 값과 겹쳤습니다.

날짜프로그램 유입(전체)그중 신규그날 오목 1~2점
10/312,2722,183-
11/12,5652,415-
11/22,8372,6561점 2건
11/32,7322,5092점 1건
11/43,0402,7631점 1건
11/51,087968- (10:53 예산 소진)

1~2점이 나온 11월 2~4일은 프로그램 기간 열하루 가운데 신규 유입이 가장 많던 사흘이었습니다. 그 사이 오목 번들은 10월 28일 21시 출시본이 마지막이라, 11월 2일에 갑자기 무언가가 깨질 만한 배포도 없었습니다.

들어온 사람들은 게임을 하러 온 게 아니었다

성장 프로그램 유입은 토스 혜택탭의 ‘미니앱 구경하고 5원 받기’ 같은 경로로 들어옵니다. 잠깐 머물면 보상을 받는 구조라, 평소 사용자와 성격이 다릅니다. 콘솔 지표가 그걸 그대로 보여 줬습니다.

지표프로그램 전(10/19~25)프로그램 중(10/26~11/4)
평균 세션 길이140~223초45~64초

11월 2일 하루만 보면 판 시작 이벤트가 4,518회, 판 종료 이벤트가 2,121회였습니다. 시작한 판의 절반 이상이 끝나기 전에 닫혔다는 뜻입니다.

비교할 대상도 있었습니다. 같은 날 같은 규모로 같은 프로그램에 들어간 탭 버드입니다. 탭 버드도 11월 2~4일 하루 신규 유입이 2,000명대였는데, 프로그램 기간 동안 장부에 들어온 후기가 0건이었습니다. 두 앱의 차이는 유입이 아니라 앱 안에서 일어난 일에 있다는 뜻입니다.

별점 창은 언제 뜨고 있었나

그래서 별점 창을 요청하는 공용 게이트를 다시 읽었습니다. 우리 미니게임은 모노레포 하나에서 공용 패키지를 같이 쓰고, 별점 요청은 packages/platform/src/review.ts 한 곳에서 판정합니다. 게임은 판이 끝날 때마다 pushConsent.noteRun() 을 부르고, 그 안에서 푸시 동의 시트와 별점 게이트가 함께 판정됩니다.

당시 게이트의 조건은 이랬습니다.

조건값
누적 사용5판 이상
사용한 날서로 다른 2일 이상
이번 세션2판째부터(진입 직후 시트는 검수 반려 사유)
요청 시점결과 화면이 그려진 뒤 1.5초
간격·횟수요청 뒤 60일 쉼, 기기당 최대 3회
결과(승패)보지 않음

마지막 줄이 문제였습니다. 오목 결과 화면에서 이긴 판이든 진 판이든, 조건만 맞으면 1.5초 뒤에 토스 별점 창을 요청했습니다. 토스는 피로도 정책에 따라 실제로 띄울지를 스스로 정하지만, 요청 자체는 패배 직후에도 나가고 있었습니다.

조건을 맞추는 사람이 누구인지도 따져 봤습니다. 프로그램 유입 가운데 ‘전체 - 신규’, 즉 다시 들어온 사람은 11월 2~4일 하루 180~280명이었습니다. 이 사람들이 이틀 이상, 다섯 판 이상 조건을 채우는 후보입니다. 10월 27일에 첫 화면을 ‘바로 두는 판’으로 바꿔 두었기 때문에, 오목은 들어오자마자 판으로 들어가 결과 화면까지 가는 구조였습니다. 그만큼 별점 창 후보가 되기 쉬웠을 겁니다.

첫 의심은 확인하지 못했다

여기까지 오면 “진 판 직후에 별점 창을 본 사람이 1점을 줬다”는 이야기가 그럴듯해 보입니다. 하지만 이걸 확인하려면 프로그램 유입의 승·패·난이도 분포가 필요했습니다. 오목은 판이 끝날 때 result·diff 파라미터를 담아 이벤트를 남기고 있었으니 데이터는 있었습니다.

문제는 꺼낼 길이 없다는 것이었습니다.

  • 콘솔 조회 도구(MCP)의 이벤트 검색은 이벤트별 일 건수와 파라미터 이름 목록만 돌려주고, 파라미터 값별로 나눠 주지 않았습니다.
  • AI 에이전트에게 콘솔 웹 화면을 읽기 전용으로 뒤지게 했지만, 이벤트 화면도 일별 건수뿐이었고 파라미터 값별 집계 화면은 없었습니다.
  • 남은 방법은 콘솔 ‘핵심 지표 > 전환 지표’에 result=lose 조건 지표를 새로 만들어 하루 뒤에 읽는 것인데, 이건 콘솔 설정을 바꾸는 일이라 하지 않았습니다.

그리고 1점 세 건 모두 글이 없었습니다. 남긴 사람에게 이유를 물을 길도 없습니다. 그래서 이 글에서 원인으로 쓸 수 있는 건 “유입 피크와 겹쳤다”, “그 유입은 세션이 짧고 판을 끝까지 하지 않았다”, “별점 창은 승패와 무관하게 요청되고 있었다”까지입니다. “져서 화가 났다”는 확인하지 못한 가설로 남겨 둡니다.

같은 기간 다른 게임에도 글 없는 1점이 있었다는 점도 적어 둡니다. 한판 바둑에 11월 1일, 순서 기억에 11월 3일 한 건씩입니다. 오목만의 일이 아닐 수도 있다는 뜻이고, 고치려면 오목 하나가 아니라 공용 게이트를 바꿔야 했습니다.

바꾼 규칙: 결과를 넘기고, 게이트가 거른다

원인이 완전히 가려지지 않아도 바꿀 이유는 충분했습니다. 진 판 직후는 별점을 묻기에 가장 나쁜 순간입니다. 결정은 “이긴 판 뒤에만 별점 창을 띄운다”였습니다.

구현 방식에서 한 번 방향을 틀었습니다. 처음에는 “이긴 판에서만 noteRun() 을 부르게” 하려 했는데, 그러면 진 판은 아예 세지 않게 됩니다. noteRun() 은 별점 게이트의 누적 판 수, 허브 홈의 ‘오늘의 미션’ 완료 집계, 푸시 동의 시트 판정까지 같이 올리는 함수라, 진 판을 빼면 다른 숫자가 전부 어긋납니다. 그래서 판은 늘 세고, 결과를 인자로 넘겨서 게이트가 거르는 쪽으로 계약을 바꿨습니다.

공용 게이트 쪽 변경입니다(review.ts).

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
// 전
const noteRun = (totalRuns?: number, blocked = false): void => {
  sessionRuns++;
  // ... 누적 판 수·사용한 날 기록 ...
  if (sessionRuns < minSessionRuns) return;
  if (s.runs < minRuns || s.days.length < minDays) return;
  // ... 조건을 넘으면 1.5초 뒤 별점 요청
};

// 후
const noteRun = (totalRuns?: number, blocked = false, positive = true): void => {
  sessionRuns++;
  // ... 누적 판 수·사용한 날 기록(진 판도 똑같이 센다) ...
  if (!positive) return; // 진 판·실패·이탈 — 센 것만 남기고 이 세션 기회는 아껴 둔다
  if (sessionRuns < minSessionRuns) return;
  if (s.runs < minRuns || s.days.length < minDays) return;
  // ...
};

positive 가 거짓이면 판 수와 날짜만 쌓고 돌아갑니다. 이번 세션의 요청 기회는 쓰지 않은 채로 남기 때문에, 같은 세션에서 뒤에 이기면 그때 요청할 수 있습니다.

게임이 부르는 쪽은 noteRun(mood?: 'good' | 'bad') 로 바꿨습니다. 인자를 생략하면 예전과 같이 동작하게 해서, 승패가 없는 운세·추첨 같은 도구형 앱은 손대지 않아도 되게 했습니다. 오목의 호출 지점은 이렇게 바뀌었습니다.

1
2
3
4
5
6
7
8
9
10
// 전 — 이기든 지든 같은 호출
pushConsent.noteRun();

// 후 — 결과 로그(gm_game_end)와 같은 산식으로 기분을 정한다
const mood: RunMood | undefined = puzzle
  ? lastPuzzleWon ? 'good' : 'bad'          // 오늘의 묘수: 풀었을 때만
  : mode === 'ai'
    ? holdMs !== 0 && winner !== null && winner === mePlayer() ? 'good' : 'bad'  // AI 대전: 이겼을 때만
    : undefined;                             // 2인 대전: 기존 동작
pushConsent.noteRun(mood);

holdMs === 0 은 오목에서 기권한 판을 뜻합니다. 기권은 이긴 판이 아니니 ‘bad’ 로 갑니다.

보드게임 15종은 공용 셸이 이미 결과를 넘겨주고 있었는데, 각 게임이 onResultShown: () => pushConsent.noteRun() 으로 그 결과를 버리고 있었습니다. 셸에 함수 하나를 두고 게임마다 한 줄씩 고쳤습니다.

1
2
3
4
export function resultMood(r: MatchResult): RunMood | undefined {
  if (r.mode !== 'ai') return undefined; // 같은 기기 2인 대전은 누가 이겨도 한 명은 이긴 사람
  return r.winner === r.me ? 'good' : 'bad'; // 패배·무승부·기권은 bad
}

게임 종류마다 ‘good’ 의 기준은 이렇게 정했습니다.

종류goodbad
AI 대전(보드게임·오목·당구·핑퐁·가위바위보 등)이겼을 때패배·무승부·기권
완주형(지뢰찾기·카드·스도쿠 등)클리어중도 이탈
점수형(탭 버드·뱀 등)신기록그 밖의 게임오버
데일리 퀴즈정답오답
2인·파티 모드기존 동작-
운세·도구형인자 생략(기존 동작)-

점수형을 ‘신기록일 때만’으로 정한 건 판단이 들어간 부분입니다. 점수형 게임에는 ‘이김’이 없고 모든 판이 게임오버로 끝나니, “이긴 뒤”에 가장 가까운 순간을 신기록으로 봤습니다. 너무 드물어서 별점 창이 거의 안 뜨게 되면 되돌릴 수 있게 기록해 두었습니다. 아동 앱(수학·한글·영어 몬스터)은 원래 별점 창이 꺼져 있어 해당이 없습니다.

이 변경은 11월 6일 커밋 하나에 들어갔습니다. 바뀐 파일은 72개, 그중 게임 소스가 65개였습니다. 별점 게이트 테스트는 새로 3개를 더해 17개가 통과했고, 보드 셸 테스트도 하나 추가했습니다. 출시 체크리스트에는 “승패가 있는 게임은 결과를 넘긴다”는 줄을 넣었습니다. 사흘 뒤에는 빠진 곳을 메웠습니다. 머지 팝은 판이 끝날 때마다 후보였던 것을 신기록일 때만으로, 탭 버드는 모험 무한·데일리 모드도 그 코스 최고 기록을 넘었을 때만으로 바꿨고, 모노레포 밖에 있는 자격증 퀴즈 7종과 간호조무사 퀴즈는 모의고사 합격이나 연습 정답률 60% 이상일 때만 요청하게 했습니다.

코드를 고쳤다고 사용자에게 나가는 건 아니다

여기서 하나 놓칠 뻔했습니다. 공용 패키지를 고쳐도, 각 게임의 토스 번들을 다시 빌드해 검수를 통과하기 전까지 사용자 폰에는 옛 코드가 돌아갑니다. 11월 9일에 확인해 보니 실제로 나간 곳은 오목과 다시 빌드한 허브 몇 개뿐이었습니다.

배포는 1점이 나올 가능성이 높은 순서로 했습니다.

순서대상진행
1오목(토스)11/6 번들 제출, 그날 23:35 승인·라이브
2한판승부 허브(보드게임 모음)11/7 토스 검수 요청, Play 업데이트 검토 요청
3토스 AI 대전 보드게임 10종11/9 검수 요청
4토스 점수형 12종11/9 검수 요청
5토스 퍼즐형 9종11/9 검수 요청
6Play 개별 앱11/9 기준 81개가 마지막 AAB 가 11/6 이전이라 옛 코드, 순차 진행

11월 9일에 올린 31종 가운데 보드게임 3종(리버시·장기·만칼라), 점수형 3종(반응속도·탭 버드·2048), 퍼즐형 3종(스도쿠·솔리테어·블록 채우기)의 라이브 버전을 오늘 다시 조회했고, 9종 모두 11월 9일 번들이 라이브였습니다. 나머지 22종과 Play 쪽은 이 글을 쓰며 하나하나 다시 조회하지 않았으니 “순차 반영 중”으로 적어 둡니다.

릴리즈 노트에서도 하나 배웠습니다. 처음 초안에는 검수 확인 순서에 “이긴 뒤 별점 창 확인”이 들어 있었는데, 별점 창은 누적 5판·이틀 조건이 있어서 검수 기기에서는 거의 뜨지 않습니다. 검수자가 안 뜨는 걸 결함으로 볼 여지를 없애려고 “검수 중에는 별점 창이 보이지 않을 수 있어요”로 바꿔 냈습니다.

효과는 아직 숫자로 확인하지 못했다

이 부분이 이 글에서 가장 조심해서 적고 싶은 대목입니다.

장부만 보면 좋아 보이는 숫자가 있습니다. 오목 새 번들이 라이브된 11월 6일 23시 35분 뒤로 11월 14일까지 장부에 들어온 오목 후기는 9건이고, 모두 4~5점입니다. 하지만 이걸 효과라고 부를 수는 없습니다.

  • 유입 구성이 바뀌었습니다. 오목 프로그램은 11월 5일 10시 53분에 예산이 소진돼 끝났고, 다음 날부터 유입이 약 1/3로 줄었습니다. 1점을 남기던 사람들 자체가 덜 들어오기 시작한 시점이 별점 규칙을 바꾼 시점과 겹칩니다.
  • 표본이 작습니다. 전후 어느 쪽이든 한 자릿수 건수라, 1점 한두 건으로 비율이 크게 흔들립니다.
  • 비교 기준을 아직 못 채웠습니다. 계획은 라이브 시점 앞뒤 2주의 1점 비율과 평균 별점을 비교하는 것이고, 판단은 11월 20일 이후로 잡아 두었습니다. 별점 목록 조회 도구는 이 기간 “등록되지 않은 요청” 오류를 내서 콘솔 화면에서 따로 봐야 합니다.

그래서 지금 말할 수 있는 건 “진 판 뒤에는 별점 창을 요청하지 않게 바꿨다”는 사실까지입니다. 1점이 줄었는지는 아직 모릅니다.

남은 것

  • 11월 20일 이후 오목 전후 2주를 비교합니다. 배포 묶음(보드·점수형·퍼즐형)마다 같은 방식으로 앱별 전후를 봅니다.
  • Play 개별 앱을 다시 배포합니다. 승패형이 약 50개라 버전 코드를 하나씩 올려 묶음으로 냅니다.
  • 출시 체크리스트의 “결과를 넘긴다” 항목은 지금 사람이 보는 수동 항목입니다. 승패·점수 변수가 있는 파일에서 인자 없는 noteRun() 이 남아 있으면 경고하는 자동 검사로 바꿀 계획입니다.
  • 프로그램 유입의 승패 분포는 여전히 없습니다. 다음에 같은 질문이 생기면 처음부터 전환 지표에 조건을 걸어 두는 편이 낫습니다.

배운 것

  • 후기 날짜는 유입과 겹쳐 봐야 합니다. 1점이 늘었을 때 앱부터 의심했지만, 먼저 바뀐 건 들어온 사람이었습니다.
  • “언제 묻는가”에는 횟수와 날짜뿐 아니라 결과도 들어가야 합니다. 다섯 판, 이틀, 두 번째 판까지는 정해 두고 정작 방금 이겼는지 졌는지는 보지 않았습니다.
  • 카운터와 요청을 분리합니다. “이긴 판만 호출”로 고쳤다면 판 수·미션·동의 집계가 함께 망가졌을 겁니다. 사건은 늘 세고, 행동만 거릅니다.
  • 공용 코드를 고친 날은 배포 표를 같이 만듭니다. 커밋과 사용자 반영 사이에는 앱 수만큼의 빌드와 검수가 있습니다.
  • 효과는 교란 요인이 지나간 뒤에 잽니다. 규칙을 바꾼 날과 유입이 바뀐 날이 겹치면, 좋아 보이는 숫자도 아직은 아무것도 말해 주지 않습니다.

이 작업의 데이터 조회, 코드 수정, 번들 빌드는 AI 에이전트와 함께 했고, 무엇을 바꾸고 언제 내보낼지는 제가 정했습니다.

만든 앱들은 GAMES와 APPS에 있습니다. 소식은 이 블로그와 인스타그램(@fadongkwon.soft) (새 창에서 열림)에서 전해드립니다.

이 기사는 저작권자의 CC BY 4.0 라이센스를 따릅니다.