#!/usr/bin/env python3 """vnkr 해설보기 비교 결과 → 공용 스타일 문서 생성. 전환된 기준: luna 응답은 서식 화이트리스트 규칙(v3)이 반영된 프롬프트로 생성된 최종본, 비용은 2026-07-30 인하 단가(luna $0.20/$1.20 per M) 기준. """ import json, html, re SP = "/private/tmp/claude-501/-Users-ymjung-Project-wordbit2/4ac326f2-ee60-44f4-ab5c-4b7aff5d25e6/scratchpad" OUT = "/Users/ymjung/Project/wordbit2/WordbitDBMakerVer2/docs/vnkr_luna_compare.html" recs = [json.loads(l) for l in open(f"{SP}/results_final.jsonl")] js = {j["id"]: j for j in (json.loads(l) for l in open(f"{SP}/judgments_final.jsonl"))} obj = json.load(open(f"{SP}/objective_report_final.json")) tally = json.load(open(f"{SP}/judge_tally_final.json")) items = json.load(open(f"{SP}/vnkr_items_100.json")) by = {} for r in recs: by.setdefault(r["id"], {})[r["model"]] = r M41, LUNA = "gpt-4.1-mini", "gpt-5.6-luna" o41, olu = obj[M41], obj[LUNA] # 2026-07-30 인하 단가 ($/M tokens): 4.1-mini 0.40/1.60, luna 1.00/6.00 → 0.20/1.20 PRICE = {M41: (0.40, 1.60), LUNA: (0.20, 1.20)} def cost(model, o): pi, po = PRICE[model] return o["입력토큰/평균"]/1e6*pi + o["출력토큰/평균"]/1e6*po c41, clu = cost(M41, o41), cost(LUNA, olu) def render_answer(t): s = html.escape(t) s = re.sub(r"<b>(.*?)</b>", r"\1", s, flags=re.S) s = re.sub(r"<fg:#4[eE][dD]3[fF]6>(.*?)</fg>", r'\1', s, flags=re.S) return s def winner_of(j): if not j or j.get("error"): return None, "" o = j.get("overall") w = j["A_model"] if o == "A" else j["B_model"] if o == "B" else "무승부" return w, j.get("reason", "") def tally_row(c, label): t = tally[c] return f"{label}{t[M41]}{t[LUNA]}{t['tie']}" qa_sections = [] for n, it in enumerate(items, 1): d = by.get(it["id"], {}) r41, rlu = d.get(M41), d.get(LUNA) if not (r41 and rlu): continue j = js.get(it["id"]) w, reason = winner_of(j) if w == LUNA: badge = "luna 승" elif w == M41: badge = "4.1-mini 승" else: badge = "무승부" qa_sections.append(f"""

{n}. {html.escape(it['content'])} {badge}

{html.escape(it['question'])}

gpt-4.1-mini ({r41['elapsed']:.1f}s, {(r41.get('usage') or {}).get('output_tokens','?')}tok)

{render_answer(r41['text'])}

gpt-5.6-luna ({rlu['elapsed']:.1f}s, {(rlu.get('usage') or {}).get('output_tokens','?')}tok)

{render_answer(rlu['text'])}

판정: {html.escape(w or '-') } — {html.escape(reason)}

""") doc = f""" vnkr AI 해설보기 — 4.1-mini vs 5.6-luna 100항목 비교

AI 해설보기 모델 비교 · 2026-07-31 · 전환 기준

vnkr 단어 해설 — gpt-4.1-mini vs gpt-5.6-luna

vnkr 단어 DB에서 뽑은 100개 단어로 실서비스 해설보기 요청을 API로 재현해 두 모델을 비교했다. luna 응답은 전환 시 적용할 최종 프롬프트(서식 규칙 반영) 기준이고, 비용은 2026-07-30 인하 단가 기준이다. 아래에 100개 전체 질문·답변 원문이 있다.

01요약

200/200
요청 성공 (모델당 100)
100 : 0
블라인드 저지 종합 (luna : 4.1)
-32%
luna 응답 총 소요 (4.4s vs 6.5s 중앙값)
-28%
luna 회당 비용 (${clu:.5f} vs ${c41:.5f})

품질·속도·비용 모두 luna 우세. 4.1의 고질 결함이던 “해설을 베트남어로만 작성”(7건)이 luna에선 0건. 2026-07-30 OpenAI 단가 인하(luna 80%↓: $0.20/$1.20 per M)로 비용 역전 — luna가 4.1-mini보다 회당 28% 저렴하다.

02테스트 방법

03종합 결과

기준gpt-4.1-minigpt-5.6-luna
성공 / incomplete100 / 0100 / 0
5개 섹션 완비100%100%
마크다운 혼입(앱 노출 결함)0%0% 규칙 반영
허용 외 태그·깨진 태그(앱 노출 결함)10건(꺾쇠 발음표기)0건 규칙 반영
예문 3개100%100%
fg 하이라이트 존재100%99%
해설이 베트남어로만 작성(결함)7건0건
TTFB 중앙값{o41['TTFB초/중앙값']}s{olu['TTFB초/중앙값']}s
총 소요 중앙값 / p95{o41['총소요초/중앙값']}s / {o41['총소요초/p95']}s{olu['총소요초/중앙값']}s / {olu['총소요초/p95']}s
토큰 평균 (입력 / 출력){o41['입력토큰/평균']} / {o41['출력토큰/평균']}{olu['입력토큰/평균']} / {olu['출력토큰/평균']}
단가 ($/M, 입력/출력)0.40 / 1.600.20 / 1.20 7/30 인하
회당 비용${c41:.5f}${clu:.5f} (-28%)
reasoning 토큰00 (effort none)

블라인드 저지 판정 (100쌍)

{tally_row('accuracy','의미·문법 정확성')} {tally_row('pronunciation','한글 발음 표기')} {tally_row('usefulness','학습 유용성')} {tally_row('korean_fluency','한국어 자연스러움')} {tally_row('overall','종합')}
기준4.1-mini 승luna 승무승부

04전체 문답 100건

각 항목: 입력(코드 블록) → 두 모델 응답 원문(앱 렌더링 재현: <b>·<fg>만 서식 적용) → 블라인드 판정. luna 응답은 전환 시 사용할 최종 프롬프트로 생성된 것이다.

{''.join(qa_sections)}
""" open(OUT, "w").write(doc) print(OUT, len(doc), "bytes,", len(qa_sections), "Q&A sections, cost", f"{c41:.5f}/{clu:.5f}")