한국어가 영어보다 토큰을 더 쓸까? 같은 프롬프트 비용 실측
네. 같은 내용도 한국어는 영어보다 토큰을 약 1.3배 더 쓰고, 따라서 동일한 Claude 작업이 약 30% 더 비쌉니다. 의미가 같은 한국어/영어 8쌍을 o200k_base BPE 토크나이저로 측정한 결과 평균 비율은 1.30배(중앙값 1.33배, 범위 1.09~1.42배)였습니다. 기술 문장이 1.42배로 가장 나빴습니다. 500토큰짜리 영어 프롬프트로 100만 건을 호출하는 챗봇이라면, 한국어로 바꾸는 것만으로 입력 비용이 약 $447 늘어납니다(Sonnet 입력가 기준, 예시).
한국어로 빌드하는 1인 개발자에게 특히 중요합니다. 매 요청마다 보이지 않는 "언어 세금"을 내고 있는데, 거의 아무도 측정하지 않습니다.
측정 데이터
각 쌍은 같은 의미를 한국어와 영어로 쓴 것이고, o200k_base로 토큰화했습니다:
| 콘텐츠 유형 | 한국어 토큰 | 영어 토큰 | 한/영 비율 |
|---|---|---|---|
| 인사말 | 11 | 8 | 1.38배 |
| 시스템 프롬프트 | 39 | 30 | 1.30배 |
| 분류 지시문 | 30 | 23 | 1.30배 |
| 기술 문단 | 61 | 43 | 1.42배 |
| FAQ 답변 | 33 | 28 | 1.18배 |
| 코드 주석 | 19 | 14 | 1.36배 |
| 에러 메시지 | 25 | 23 | 1.09배 |
| 제품 설명 | 30 | 22 | 1.36배 |
| 평균 | 1.30배 |
문장이 길고 기술적일수록 한국어 페널티가 커집니다. 짧고 기호가 많은 문자열(에러 메시지)은 격차가 줄어듭니다.
왜 한국어가 더 비싼가
토큰은 부분단어(subword) 단위이고, BPE 토크나이저는 그 단위를 주로 영어 위주 학습 데이터에서 배웁니다. 한글은 UTF-8에서 글자당 3바이트이고 토크나이저 어휘에 덜 등장해, 한 글자가 더 많은 부분단어 조각으로 쪼개집니다. 영어는 대략 4글자당 1토큰, 한국어는 1.5글자당 1토큰에 가깝습니다. 같은 의미인데 조각이 더 많고, 그래서 토큰이 많고, 비용이 큽니다.
비용 영향
입력 비용은 토큰 수에 정비례하므로 1.3배 비율이 그대로 청구서에 반영됩니다:
- 100만 요청 기준(영어 500토큰 vs 한국어 약 650토큰): Sonnet 입력가에서 한국어가 약 $447 더 듭니다.
- 출력도 한국어 응답이 토큰상 더 길어 추가 페널티가 있습니다.
- 프롬프트 캐싱은 두 언어에 똑같이 적용되므로(캐시 입력은 1/10 가격) 상대 격차는 유지되지만, 캐싱하면 한국어 세금의 절대액은 줄어듭니다. 프롬프트 캐싱 가이드 참고.
직접 계산은 토큰 카운터 도구로, 비용 절감은 Claude API 비용 절감 팁에서 확인하세요. 영문 원자료: Korean vs English token cost benchmark.
방법론 (재현 가능)
- 토크나이저: tiktoken
o200k_base, 로컬 실행. Anthropic 토크나이저는 절대 수치가 다르지만, 한/영 비율은 UTF-8 바이트 구조가 결정하므로 토크나이저가 달라도 안정적입니다. 한국어 최적화가 덜 된 토크나이저(일부 Claude 버전 포함)에서는 격차가 더 커질 수 있습니다. - 샘플: 실제 Claude 사용 사례(시스템 프롬프트, 분류, FAQ, 코드 주석, 에러, 제품 카피)를 다룬, 의미가 일치하는 8쌍.
- 비용: $0. 전부 로컬 계산, API 호출 없음.
프로덕션의 정확한 수치는 Anthropic count_tokens 엔드포인트로 측정한 뒤, 언어 비교 시 위 비율을 적용하세요.
자주 묻는 질문
한국어가 정말 Claude에서 30% 더 비싼가요?
모던 BPE 토크나이저에서 같은 의미의 한국어가 영어 대비 약 1.3배 토큰을 썼고, 이는 같은 작업의 입력 비용이 약 30% 증가함을 뜻합니다. 정확한 수치는 토크나이저 버전과 문장의 기술성에 따라 달라집니다.
일본어·중국어도 같은 페널티가 있나요?
CJK 언어는 원인이 같습니다. 3바이트 UTF-8 문자가 더 많은 부분단어로 쪼개집니다. 일본어와 중국어도 영어 대비 비슷하거나 더 큰 토큰 프리미엄을 보입니다.
한국어 토큰 세금을 줄이려면?
반복되는 시스템 프롬프트에 프롬프트 캐싱을 적용하고(캐시 입력 10배 저렴), 단순 작업은 저렴한 모델로 라우팅하며, 프롬프트를 간결하게 유지하세요. 1,000번 재사용하는 500토큰 지시문은 다시 쓰는 것보다 캐싱이 훨씬 큰 이득입니다.
Claude 실제 토크나이저로 측정한 건가요?
아니요. 비율이 토크나이저에 안정적이라 tiktoken o200k_base를 문서화된 프록시로 사용했습니다. Claude의 정확한 요청별 수치는 count_tokens API로 확인하세요. 한국어 페널티는 그래도 동일하게 적용됩니다.
어떤 언어든 Claude 비용 줄이기
Claude API 비용 최적화 마스터클래스 ($59 / 약 ₩82,000, 부가세 별도) — 실제 청구서를 $2,100 → $187/월로 줄인 라우팅·캐싱·배치 플레이북. 매 요청마다 토큰 세금을 무는 한국어 빌더에게 특히 유용합니다.