---
license: apache-2.0
datasets:
- TIGER-Lab/MMLU-Pro
- EunsuKim/CLIcK
- fingertap/GPQA-Diamond
language:
- ko
- en
base_model:
- google/gemma-4-31B-it
---
# ExtGemma4-41B (Gemma4-31B 레이어 확장 모델)

**모델 카드 (Model Card)**

---

## 1. 모델 요약 (Model Summary)

**ExtGemma4-41B**는 Google의 `google/gemma-4-31B-it`를 기반으로, **레이어 확장(Layer Expansion)** 기법을 적용하여 60층에서 **80층**으로 늘린 대규모 언어 모델입니다.  
본 모델은 한국어 법률(민사법) 및 STEM 도메인에 대한 적응형 사전학습과 Instruction Tuning을 거쳐, **추론 능력(CoT, Chain-of-Thought) 향상**과 **지식 확장**을 목표로 개발되었습니다.

- **개발자**: Nextnine (경복대학교 창업보육센터 소속)  
- **베이스 모델**: `google/gemma-4-31B-it`  
- **모델 크기**: 약 42B 파라미터 (확장 후)  
- **아키텍처**: Gemma4 기반, Hybrid Attention (Sliding + Full)  
- **라이선스**: 기본 모델 및 사용 데이터셋의 라이선스를 따름 (비상업적 연구 목적 권장)

---

## 2. 제작 목적 및 용도 (Intended Use)

### Primary Use Cases
- **한국어 법률 문서 이해 및 추론**: 민사법 등 법률 분야의 질의응답, 문서 요약, 판례 분석  
- **STEM 분야 추론**: 수학, 과학, 기술 문제 해결 및 설명 생성  
- **Chain-of-Thought(CoT) 연구**: 단계적 추론 과정을 통한 정답 도출 능력 평가  

### Limitations
- 본 모델은 **연구 및 평가 목적**으로 제작되었으며, **실제 법률 자문 또는 의료/금융 등 고위험 분야**에 사용해서는 안 됩니다.  
- 확장된 레이어로 인해 추론 속도 및 메모리 사용량이 증가할 수 있습니다.  
- 한국어 외 다른 언어에 대한 성능은 보장되지 않습니다.

---

## 3. 아키텍처 상세 (Architecture Details)

### 3.1 레이어 확장 설계 (Option B)

원본 Gemma4-31B(60층)의 레이어 구조를 유지하면서, 각 블록(6층) 내에서 **Sliding Attention 레이어를 2개씩 추가**하여 총 80층으로 확장했습니다.

```
원본:  [s0, s1, s2, s3, s4,             F] × 10 = 60레이어
확장:  [s0, s1, s1, s2, s3, s4, s4, F] × 10 = 80레이어
              ↑ 앞쪽 복제        ↑ 뒤쪽 복제
```

- **삽입 레이어 인덱스** (총 20개): `[1, 6, 9, 14, 17, 22, 25, 30, 33, 38, 41, 46, 49, 54, 57, 62, 65, 70, 73, 78]`
- **Full Attention 위치**: `[7, 15, 23, 31, 39, 47, 55, 63, 71, 79]` (매 블록 마지막 층)
- **Sliding Window 크기**: 1024 (변경 없음)

### 3.2 초기화 전략 (Identity Initialization)

확장된 레이어가 **파인튜닝 전에도 베이스 모델과 동일한 출력**을 보장하도록 LLaMA-Pro 방식의 Identity 초기화를 적용했습니다.

- **Zero-Initialization**:
  - `self_attn.o_proj.weight` → 0
  - `mlp.down_proj.weight` → 0
- **Gemma4 특수 보정**:
  - 삽입 레이어의 `layer_scalar` 파라미터를 **1.0**으로 설정 (기본값 0.0654).  
    - Gemma4는 forward 마지막에 `hidden_states *= layer_scalar`를 수행하므로, 이 값을 1로 두지 않으면 잔차 경로가 왜곡됩니다.
- **검증 완료**: 확장 직후 베이스 모델과의 logit 차이는 `0.000e+00`으로, 항등 함수가 정확히 구현되었음을 확인했습니다.

### 3.3 주요 변경 사항 (Config)

- `text_config.num_hidden_layers`: 60 → 80
- `text_config.layer_types`: 80개 배열 (sliding × 7, full × 1 반복)
- `model.safetensors.index.json`: 숫자 정렬 적용 (GGUF 변환 시 블록 순서 보장)

---

## 4. 학습 데이터 (Training Data)

본 모델은 아래의 데이터셋을 참조하여 **사전학습(계속적 학습)** 및 **Instruction Tuning**을 수행했습니다.

| 데이터셋 | 출처 | 용도 |
|---------|------|------|
| **민사법 LLM 사전학습 데이터** | AIHub (https://aihub.or.kr) | 법률 도메인 적응형 사전학습 |
| **민사법 Instruction Tuning 데이터** | AIHub | 법률 QA 및 추론 튜닝 |
| **KMMLU-PRO** | HAERAE-HUB (arXiv:2402.11548) | 한국어 다중 분야 추론 평가 |
| **CLiCK** | EunsuKim/CLiCK (HuggingFace) | 한국어 대화 및 지식 추론 데이터 |

> **참고**: 데이터셋별 라이선스 및 이용 조건은 각 데이터셋의 원본 페이지를 따릅니다.

---

## 5. 평가 및 성능 (Evaluation)

- 본 모델은 한국어 법률 및 STEM 추론 벤치마크(KMMLU-PRO 등)에서 개선된 성능을 목표로 합니다.
- CoT 프롬프팅을 통해 단계적 추론 능력이 향상될 것으로 기대됩니다.

---

## 6. 사용 방법 (Usage)

### 6.1 권장 실행 파라미터 (Inference)

```bash
--temp 1.0 \
--top-p 0.95 \
--top-k 64 \
--min-p 0.00
```

### 6.2 Transformers 예제

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Nextnine/ExtGemma4-41B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

inputs = tokenizer("한국의 민법 제1조는 무엇인가요?", return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=512, temperature=1.0, top_p=0.95, top_k=64)
print(tokenizer.decode(outputs[0]))
```

### 6.3 llama.cpp (GGUF) 사용 예시

```bash
./llama-cli -m ExtGemma4-41B.gguf -p "민법상 계약의 성립 요건을 설명해주세요." -n 512 --temp 1.0 --top-p 0.95 --top-k 64
```

---

## 7. 라이선스 및 사용 제한 (License & Restrictions)

- 본 모델은 **학술 연구 및 비상업적 목적**으로만 사용할 것을 권장합니다.
- 모델 및 데이터셋의 라이선스는 각각의 원본 저작권자 및 배포처의 조건을 따릅니다.
  - 베이스 모델: `google/gemma-4-31B-it` (Google Gemma 라이선스)
  - 데이터셋: 각 데이터셋 페이지에 명시된 라이선스 준수 (명시되지 않은 경우 원저자의 의도를 존중하여 연구/비상업적 용도로 제한)
- 본 모델은 실제 법률 자문, 의료 진단, 금융 결정 등에 사용될 수 없습니다.

---

## 8. 인용 (Citation)

본 모델을 연구에 활용하실 경우 아래와 같이 인용해 주시기 바랍니다.

```bibtex
@misc{nextnine_extgemma4_2026,
  author = {Nextnine (Kyungbok University Startup Incubator)},
  title = {ExtGemma4-41B: Layer-Expanded Gemma4 for Korean Legal and STEM Reasoning},
  year = {2026},
  publisher = {Hugging Face},
  url = {https://huggingface.co/Nextnine/ExtGemma4-41B}
}
```

---

## 9. 문의 (Contact)

- **개발자**: Nextnine (경복대학교 창업보육센터)
- **이메일**: (추후추가)
- **GitHub**: (추후추가)

---

**모델 카드 버전**: 1.0 (2026년 6월)