AWAXIS-Think-28B

Anserwise가 공개하는 한국어 특화 28B 추론 LLM
Qwen3.6-27B(부)와 rico03의 Claude Opus 증류 추론 모델(모)을 Darwin V7 진화적 병합으로 교배하여 탄생한 Darwin-28B-Opus(자), 그 자 모델 위에 한국어 LoRA를 입혀 완성된 모델입니다.

---

🧬 모델 계보 (Family Tree)

┌───────────────────────────────────────────────────────────────────────┐
│                                                                       │
│  부 (Father):  Qwen/Qwen3.6-27B                                       │
│                └─ Alibaba Qwen 팀의 최신 Qwen3.6 세대 백본               │
│                                                                       │
│  모 (Mother):  rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled     │
│                └─ Claude Opus 추론 능력을 증류한 Qwen3.6-27B 기반 모델    │
│                                                                       │
│              │  Darwin V7 진화적 병합 (CMA-ES 기반 최적 혼합 탐색)        │
│              ▼                                                        │
│                                                                       │
│  자 (Son):   FINAL-Bench/Darwin-28B-Opus                              │
│              └─ 부·모 DNA 결합 28B 모델                                 │
│                 Qwen3.5 하이브리드 아키텍처 (Linear × 48 + Full × 16)    │
│                                                                       │
│              │  한국어 LoRA 미세조정 (r=8, 어텐션 전용, 영향도 최소)      │
│              ▼                                                        │
│                                                                       │
│  본 모델:    Anserwise/AWAXIS-Think-28B  ⭐                            │
│              └─ 한국어 특화 28B (K-AI 리더보드 타겟)                     │
│                                                                       │
└───────────────────────────────────────────────────────────────────────┘

3대 가계 구조:

• 부·모(Qwen3.6-27B × rico03 Claude-Opus-Reasoning-Distilled)가 Darwin V7 시스템에서 진화적으로 교배되어 자(Darwin-28B-Opus) 탄생
• 그 자 모델 위에 한국어 LoRA를 입혀 AWAXIS-Think-28B 완성

---

📊 모델 개요

항목	값
파라미터	약 27B (텍스트 언어 모델) + 비전 타워 포함
아키텍처	Qwen3.5 하이브리드 (Linear Attention × 48 + Full Attention × 16)
컨텍스트	262,144 tokens
자(子) 모델	FINAL-Bench/Darwin-28B-Opus
부(父) 백본	Qwen/Qwen3.6-27B
모(母) 베이스	rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled
추가 학습	한국어 LoRA 미세조정
라이선스	Apache 2.0
데이터형	BF16
파일 형식	표준 safetensors (11 shards) + Qwen3VLProcessor 호환

---

✨ 주요 특징

1. Darwin V7 진화적 병합으로 태어난 자(子) Darwin-28B-Opus

FINAL-Bench 팀의 Darwin V7 시스템이:

• 부(Qwen/Qwen3.6-27B) — 최신 Qwen3.6 세대 범용 백본
• 모(rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled) — Claude Opus급 추론력을 Qwen3.6-27B에 증류한 모델

두 부모를 CMA-ES 기반 진화적 탐색으로 레이어별 최적 혼합 비율을 수십 세대 진화시켜 병합.
→ 부모의 범용 백본 + 고급 추론력이 동시 계승된 28B 자(子) 모델 탄생.

2. 한국어 LoRA 미세조정 — AWAXIS-Think-28B

자(Darwin-28B-Opus) 위에 영향도 최소화 LoRA를 적용:

• Rank: 8 (전체 파라미터의 약 0.02%만 조정)
• Target modules: q_proj, k_proj, v_proj, o_proj (어텐션만, FFN 미개입)
• Alpha: 16, Dropout: 0.05
• 학습 데이터: KoAlpaca-v1.1a + KOpen-platypus (선별 3,000 샘플)
• Epoch: 1, Learning rate: 1e-5 cosine schedule

→ 부·모·자가 쌓아온 일반 능력을 보존하면서 한국어 응답 자연스러움·문맥 이해만 향상.

3. Qwen3.5 하이브리드 어텐션

• Linear Attention (Gated Delta Net) × 48 — 262K 긴 컨텍스트 효율
• Full Attention × 16 — 핵심 토큰 간 강한 관계 포착
• 4:1 패턴: [L, L, L, F] × 16 반복

4. K-AI 리더보드 호환 패키지

• Qwen3VLProcessor 포함 (vLLM 기동 안정)
• Qwen2TokenizerFast 표준 토크나이저
• 표준 model.safetensors.index.json
• 멀티모달 구조 유지 (텍스트 평가 시 동일하게 동작)

---

🔧 사용법

기본 로드

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

tok = AutoTokenizer.from_pretrained("Anserwise/AWAXIS-Think-28B")
model = AutoModelForCausalLM.from_pretrained(
    "Anserwise/AWAXIS-Think-28B",
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)

한국어 추론 예시

messages = [
    {"role": "user", "content": "세종대왕의 업적을 3가지로 요약해 주세요."}
]
prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tok(prompt, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=512, do_sample=False)
print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

vLLM 서빙

vllm serve Anserwise/AWAXIS-Think-28B \
  --trust-remote-code \
  --max-model-len 16384 \
  --dtype bfloat16

---

📊 벤치마크 (K-AI 리더보드 등재 예정)

• KMMLU (한국어 다지선다 종합)
• HAERAE-Bench (한국 상식·언어·독해)
• CLIcK (한국 문화·언어 지식)
• GPQA (영어 고난이도 추론)
• HumanEval (코딩)

---

🎯 활용 권장

• ✅ 한국어 Q&A / 대화 / 창작
• ✅ 장문 추론 / Chain-of-Thought
• ✅ 다국어 교차 작업 (한·영·중·일)
• ✅ 요약 / 번역 / 분석
• ⚠️ 의료·법률·투자 등 전문 영역은 사람 검증 필수

---

📝 라이선스

Apache 2.0 — 상업·학술 목적 사용 가능. 재배포 시 베이스 모델 출처 명시 권장.

---

🙏 감사의 말

• Alibaba Qwen 팀 — 부(父) Qwen/Qwen3.6-27B 기반 백본 제공
• rico03 — 모(母) Qwen3.6-27B-Claude-Opus-Reasoning-Distilled (Claude Opus 추론 증류)
• FINAL-Bench 팀 — 자(子) Darwin-28B-Opus 및 Darwin V7 진화적 병합 시스템
• 한국어 SFT 데이터셋 기여자 — KoAlpaca, KOpen-platypus
• HuggingFace / Transformers / PEFT 커뮤니티

---

모델 공개: 2026-04-24
제작: Anserwise AI
레포: https://huggingface.co/Anserwise/AWAXIS-Think-28B