매주 손으로 쓰던 UA 리포트를, 수치는 결정론 룰 엔진에 맡기고 LLM 에는 서사만 맡겨 무인화한 사례입니다.
문제
- 라이브 게임 5종의 매체별 주간 UA 리포트를 매주 수작업으로 작성
- LLM 서술은 수치가 흔들리거나 지어내는 문제로, 공식 리포트에 신뢰하고 쓸 수 없는 상황
가설
모든 수치를 결정론 룰 엔진이 계산하고 LLM 은 그 수치 둘레의 서사만 쓰게 하면, 자동 검증과 폴백을 붙여 신뢰를 잃지 않고 리포팅을 무인화할 수 있다.
분석
- BigQuery UA 데이터와 마케터 결정 로그를 결정론 룰 모듈 19개가 받아 보고 수치 전부를 계산
- LLM 에이전트(4단 모델 폴백)는 서사만 작성
- 불변식 검증기가 수치 왜곡을 기각하고, 실패 시 룰 기반 초안으로 자동 폴백
- 운영 임계치는 YAML 설정으로 분리해 마케터가 코드 수정 없이 튜닝
결과
- 게임 5종의 주간, 격주 UA 리포트가 매주 월요일 무인 게시
- 불변식 검증 덕분에 게시된 수치는 룰 엔진 산출과 항상 일치