GPT-2¶
GPT-2(Radford et al., 2019)는 OpenAI에서 개발한 디코더 전용 트랜스포머 기반 언어 모델입니다. causal self-attention과 GELU feed-forward pre-norm 블록을 쌓은 구조입니다. 모델은 50,257개 어휘의 확률 분포를 계산해 다음 토큰을 예측합니다.
참고자료: 논문, 체크포인트(HuggingFace), 저장소
설정¶
namespace gpt2 = model::production::gpt2;
auto modelCfg = gpt2::ModelConfig::_124M();
gpt2::Net net({
.device = device,
.wDefaultDtype = Dtype::Fp16,
.oDefaultDtype = Dtype::Fp32,
}, modelCfg);
NeuralNetConfig¶
GPT-2는 기본값을 그대로 쓰고, 로더가 각 LayerNorm의 계수만 fp32로 읽습니다.
세부사항은 신경망 참조.
ModelConfig¶
| 팩토리 | variant |
embedDim |
numQHeads |
nBlocks |
|---|---|---|---|---|
_124M() |
"124M" |
768 | 12 | 12 |
_355M() |
"355M" |
1024 | 16 | 24 |
_774M() |
"774M" |
1280 | 20 | 36 |
_1_5B() |
"1.5B" |
1600 | 25 | 48 |
vocabSize 50,257, maxTrainedContext 1,024는 공통입니다.
RuntimeConfig¶
KV 캐시의 dtype과 크기를 정합니다. maxRuntimeContext를 생략하면 maxTrainedContext 값을 그대로 쓰고, 값을 지정하면 그만큼만 할당해 메모리를 아낍니다.
| 필드 | 기본값 |
|---|---|
kvCacheDtype |
Dtype::Fp16 |
maxRuntimeContext |
uint32_t(-1): maxTrainedContext까지 |
vAi 그래프¶
vAi에서 모델은 노드를 -로 이어 만든 DAG입니다. 세부사항은 노드와 노드그룹 문서를 참조.
Tq: 입력 토큰 수, D 임베딩 차원, H 헤드 수.
모델 아키텍처¶
decoder는 공통 그룹 Transformer입니다. 블록을 차례로 잇고 마지막에 finalNorm을 둡니다.
NodeGroup¶
GPT-2가 사용하는 노드그룹입니다. 모두 공통 그룹에 있습니다.
Transformer가 TransformerBlock를 쌓고, TransformerBlock가 MultiHeadAttention과 FeedForward를 담는 중첩 구조입니다.
TransformerBlock¶
input - norm1 - mhAttn - lastRow - gate/"then" - norm2 - ffn;
input - "residual"/mhAttn - lastRow - gate/"then" - "residual"/ffn;
별도 Add를 두지 않고 각 서브층의 마지막 투영이 acceptResidual로 받아 커널 안에서 더합니다.
lastRow와 gate는 설정에 따라 생기는 optional 멤버이고, 없으면 연결에서 빠집니다. GPT-2는 마지막 블록에만 lastRow를 두어, 다음 토큰을 정하는 마지막 행만 FFN으로 보냅니다.
MultiHeadAttention¶
Q, K, V를 {D, 3D} 투영 하나로 계산한 뒤 헤드 축에서 세 조각으로 잘라냅니다.
projQKV - splitHeads - perQKV - sliceQ - normQ - ropeQ - "Q"/attn;
perQKV - sliceK - normK - ropeK - "K"/attn;
perQKV - sliceV - "V"/attn - mergeOut - projOut;
normQ, normK, ropeQ, ropeK도 optional 멤버입니다. GPT-2는 QK 정규화와 RoPE를 쓰지 않으므로 이 넷은 생기지 않습니다.
projOut이 acceptResidual = true라 블록의 잔차를 residual로 받아 투영 결과에 더합니다.
FeedForward¶
Linear 둘을 연결한 그룹입니다. GELU는 별도 노드가 아니라 앞쪽 Linear의 에필로그로 붙어 GEMM 안에서 처리됩니다.
fc2도 acceptResidual = true로, 블록의 잔차를 residual로 받습니다.
사용 노드¶
TokenEmbedding ·
LayerNorm ·
Linear ·
Reshape ·
Permute ·
Attention ·
Identity ·
Slice ·
TopKSampling
체크포인트¶
체크포인트는 data/ckpts/gpt2/openai/ 아래 사이즈별 폴더(ModelConfig::variant)에, 토크나이저는 data/tokenizers/gpt2/에 둡니다.
tokenizer.json은 네 크기가 함께 씁니다.
data/
├── ckpts/gpt2/openai/
│ ├── 124M/
│ │ └── model.safetensors
│ ├── 355M/
│ │ └── model.safetensors
│ └── ...
└── tokenizers/gpt2/
└── tokenizer.json
해당 HuggingFace 저장소에서 받아 별도 변환 없이 그대로 씁니다. 가중치 라이선스는 MIT입니다.
mkdir -p data/ckpts/gpt2/openai/124M data/tokenizers/gpt2
curl -L -o data/tokenizers/gpt2/tokenizer.json https://huggingface.co/openai-community/gpt2/resolve/main/tokenizer.json
curl -L -o data/ckpts/gpt2/openai/124M/model.safetensors \
https://huggingface.co/openai-community/gpt2/resolve/main/model.safetensors
HuggingFace 저장소의 Files and versions 탭에서 model.safetensors와 tokenizer.json을 직접 내려받거나 위 명령으로 받으면 됩니다.
가중치 로딩¶
체크포인트를 그래프 슬롯에 매핑하는 코드는 models/production/gpt2/openai-weights.h에 있습니다.
실행하는 쪽은 한 줄이면 됩니다. 경로는 특수화가 조립하므로(VAI_DATA_DIR "/ckpts/gpt2/openai/" + modelCfg.variant)
사이즈만 정하면 됩니다. 배포명 태그의 원리는 커스텀 모델 작성의 배포명-weights.h 참조.
실행¶
폴더 구조¶
models/production/gpt2/
├── net.h 모델 정의 및 NodeGroup 정의
├── openai-weights.h OpenAI(HuggingFace `openai-community/*`) 체크포인트 매핑
├── demo.cpp demo-gpt2: 한 프롬프트 완성 + 시간 측정
└── CMakeLists.txt
data/
├── ckpts/gpt2/openai/
│ └── <variant>/ ModelConfig::variant: 124M, 355M, 774M, 1.5B
│ └── model.safetensors
└── tokenizers/gpt2/
└── tokenizer.json
빌드 및 실행¶
prompt에 적은 문장을 이어 새 문장을 생성합니다. prefill과 decode 시간을 각각 측정해 생성된 문장과 함께 출력합니다.