콘텐츠로 이동

GPT-2

GPT-2(Radford et al., 2019)는 OpenAI에서 개발한 디코더 전용 트랜스포머 기반 언어 모델입니다. causal self-attention과 GELU feed-forward pre-norm 블록을 쌓은 구조입니다. 모델은 50,257개 어휘의 확률 분포를 계산해 다음 토큰을 예측합니다.

참고자료: 논문, 체크포인트(HuggingFace), 저장소

설정

namespace gpt2 = model::production::gpt2;

auto modelCfg = gpt2::ModelConfig::_124M();

gpt2::Net net({
    .device        = device,
    .wDefaultDtype = Dtype::Fp16,
    .oDefaultDtype = Dtype::Fp32,
}, modelCfg);

NeuralNetConfig

GPT-2는 기본값을 그대로 쓰고, 로더가 각 LayerNorm의 계수만 fp32로 읽습니다. 세부사항은 신경망 참조.

ModelConfig

팩토리 variant embedDim numQHeads nBlocks
_124M() "124M" 768 12 12
_355M() "355M" 1024 16 24
_774M() "774M" 1280 20 36
_1_5B() "1.5B" 1600 25 48

vocabSize 50,257, maxTrainedContext 1,024는 공통입니다.

RuntimeConfig

KV 캐시의 dtype과 크기를 정합니다. maxRuntimeContext를 생략하면 maxTrainedContext 값을 그대로 쓰고, 값을 지정하면 그만큼만 할당해 메모리를 아낍니다.

필드 기본값
kvCacheDtype Dtype::Fp16
maxRuntimeContext uint32_t(-1): maxTrainedContext까지

vAi 그래프

vAi에서 모델은 노드를 -로 이어 만든 DAG입니다. 세부사항은 노드와 노드그룹 문서를 참조.

Tq: 입력 토큰 수, D 임베딩 차원, H 헤드 수.

모델 아키텍처

input("inTokenIds") - embedding - decoder - lmHead - topkSampling - output("nextTokenId");

decoder는 공통 그룹 Transformer입니다. 블록을 차례로 잇고 마지막에 finalNorm을 둡니다.

for (size_t i = 1; i < blocks.size(); ++i)
    blocks[i - 1] - blocks[i];
blocks.back() - finalNorm;

NodeGroup

GPT-2가 사용하는 노드그룹입니다. 모두 공통 그룹에 있습니다. Transformer가 TransformerBlock를 쌓고, TransformerBlock가 MultiHeadAttention과 FeedForward를 담는 중첩 구조입니다.

TransformerBlock

input - norm1 -    mhAttn - lastRow - gate/"then" - norm2 -    ffn;
input - "residual"/mhAttn - lastRow - gate/"then" - "residual"/ffn;

별도 Add를 두지 않고 각 서브층의 마지막 투영이 acceptResidual로 받아 커널 안에서 더합니다. lastRow와 gate는 설정에 따라 생기는 optional 멤버이고, 없으면 연결에서 빠집니다. GPT-2는 마지막 블록에만 lastRow를 두어, 다음 토큰을 정하는 마지막 행만 FFN으로 보냅니다.

MultiHeadAttention

Q, K, V를 {D, 3D} 투영 하나로 계산한 뒤 헤드 축에서 세 조각으로 잘라냅니다.

projQKV - splitHeads - perQKV - sliceQ - normQ - ropeQ - "Q"/attn;
perQKV - sliceK - normK - ropeK - "K"/attn;
perQKV - sliceV                 - "V"/attn - mergeOut - projOut;

normQ, normK, ropeQ, ropeK도 optional 멤버입니다. GPT-2는 QK 정규화와 RoPE를 쓰지 않으므로 이 넷은 생기지 않습니다.

projOut이 acceptResidual = true라 블록의 잔차를 residual로 받아 투영 결과에 더합니다.

FeedForward

Linear 둘을 연결한 그룹입니다. GELU는 별도 노드가 아니라 앞쪽 Linear의 에필로그로 붙어 GEMM 안에서 처리됩니다.

fc1 - fc2;   // 768 -> 3072 -> 768

fc2도 acceptResidual = true로, 블록의 잔차를 residual로 받습니다.

사용 노드

TokenEmbedding · LayerNorm · Linear · Reshape · Permute · Attention · Identity · Slice · TopKSampling

체크포인트

체크포인트는 data/ckpts/gpt2/openai/ 아래 사이즈별 폴더(ModelConfig::variant)에, 토크나이저는 data/tokenizers/gpt2/에 둡니다. tokenizer.json은 네 크기가 함께 씁니다.

data/
├── ckpts/gpt2/openai/
│   ├── 124M/
│   │   └── model.safetensors
│   ├── 355M/
│   │   └── model.safetensors
│   └── ...
└── tokenizers/gpt2/
    └── tokenizer.json

해당 HuggingFace 저장소에서 받아 별도 변환 없이 그대로 씁니다. 가중치 라이선스는 MIT입니다.

mkdir -p data/ckpts/gpt2/openai/124M data/tokenizers/gpt2
curl -L -o data/tokenizers/gpt2/tokenizer.json https://huggingface.co/openai-community/gpt2/resolve/main/tokenizer.json
curl -L -o data/ckpts/gpt2/openai/124M/model.safetensors \
  https://huggingface.co/openai-community/gpt2/resolve/main/model.safetensors

HuggingFace 저장소의 Files and versions 탭에서 model.safetensors와 tokenizer.json을 직접 내려받거나 위 명령으로 받으면 됩니다.

가중치 로딩

체크포인트를 그래프 슬롯에 매핑하는 코드는 models/production/gpt2/openai-weights.h에 있습니다. 실행하는 쪽은 한 줄이면 됩니다. 경로는 특수화가 조립하므로(VAI_DATA_DIR "/ckpts/gpt2/openai/" + modelCfg.variant) 사이즈만 정하면 됩니다. 배포명 태그의 원리는 커스텀 모델 작성의 배포명-weights.h 참조.

loadWeights<"openai">(net);

실행

폴더 구조

models/production/gpt2/
├── net.h                         모델 정의 및 NodeGroup 정의
├── openai-weights.h              OpenAI(HuggingFace `openai-community/*`) 체크포인트 매핑
├── demo.cpp                      demo-gpt2: 한 프롬프트 완성 + 시간 측정
└── CMakeLists.txt

data/
├── ckpts/gpt2/openai/
│   └── <variant>/                    ModelConfig::variant: 124M, 355M, 774M, 1.5B
│       └── model.safetensors
└── tokenizers/gpt2/
    └── tokenizer.json

빌드 및 실행

cmake -B build
cmake --build build --config RelWithDebInfo

# Run
./build/bin/demo-gpt2

prompt에 적은 문장을 이어 새 문장을 생성합니다. prefill과 decode 시간을 각각 측정해 생성된 문장과 함께 출력합니다.