Problem
- 악천후 토글을 고정 임계값으로 판단하고 있어 LLM 판단으로 바꿀 수 있는지 근거가 필요
- LLM 판단을 운영에 쓰려면 정량 지표와 불일치 사례로 품질을 확인해야 함
회사
BW Toggle LLM 판단 검증
고정 임계값 기반 악천후 판단을 LLM으로 대체할 수 있는지 정량 실험으로 검증한 프로젝트
수행기간 | 2026.03
악천후 판단을 LLM에 맡겨도 되는가
My Role
- 임계값 판단과 LLM 판단을 같은 데이터로 비교하는 실험 설계
- Pydantic structured output, 배치 처리, 재시도, 중간 저장, 토큰 로깅을 갖춘 LLM 호출 파이프라인 구현
- Accuracy, Precision, Recall, F1과 불일치 사례로 판단 품질 평가
Result
- 시간 단위 집계에서 ON 판단이 90.4%로 치우치고 Accuracy가 약 53%에 그친 원인 규명
- 집계 단위와 입력 데이터 표현이 판단 품질에 미치는 영향을 확인하고 후속 실험 방향 제시
기술적 의사결정
도입 전에 정량 비교 실험부터
고정 임계값 판단을 LLM으로 바꿀 근거를 얻기 위해 같은 데이터로 두 방식을 비교하고 Accuracy·Precision·Recall·F1로 평가
Pydantic structured output
LLM 응답을 정해진 스키마로 받아 판단 결과를 바로 집계·비교할 수 있게 구성
운영 고려
- 배치 처리, 재시도, 중간 저장으로 긴 실험이 중간에 실패해도 이어서 실행
- 토큰 사용량을 로깅해 실험 비용 추적
