노드그룹(NodeGroup)¶
NodeGroup은 노드 여러 개를 감싸 하나처럼 쓰는 서브그래프입니다. 트랜스포머
블록처럼 반복되는 구조를 한 단위로 묶을 때 씁니다.
먼저 vai/groups에 재사용 가능한 그룹이 있는지 확인합니다.
struct FeedForward : public vai::NodeGroup {
vai::node::Linear fc1, fc2; // 1
// ... Config 정의
FeedForward(Config config)
: fc1({ .inDim = config.inDim, .outDim = config.hiddenDim, .epilogue = config.activation })
, fc2({ .inDim = config.hiddenDim, .outDim = config.outDim, .acceptResidual = config.acceptResidual })
{
fc1 - fc2; // 2
defineSlot("in0", fc1.slot("in0")); // 3
if (config.acceptResidual)
defineSlot("residual", fc2.slot("residual"));
defineSlot("out0", fc2.slot("out0"));
}
};
- 멤버로 노드를 선언하고,
- 생성자에서 내부를 잇고,
- 밖에 노출할 슬롯을 정합니다.
NodeGroup::defineSlot은 새 슬롯을 만드는 것이 아니라 내부 Node드의 슬롯에 외부 이름을
붙이는 것입니다. 밖에서 그룹의 in0에 연결하면 실제로는 fc1의 in0 슬롯에
잇습니다.
NodeGroup에는 prepare()도 run()도 없습니다. 실행되는 것은 안에 든 Node들이고,
NodeGroup은 여러 Node를 하나의 서브그래프로 묶어, 반복되는 구조를 재사용할 수 있게 합니다.
1. 연결¶
Node와 똑같이 -로 잇습니다. NodeGroup과 Node를 섞어도 됩니다.
/로 슬롯을 지정하는 규칙도 같습니다. 그룹 앞이면 들어가는 슬롯, 뒤면 나가는
슬롯이고, 쓸 수 있는 이름은 defineSlot으로 노출한 것뿐입니다. Node와 마찬가지로
/를 생략하면 in0과 out0으로 간주합니다.
2. 중첩¶
NodeGroup 안에 다른 NodeGroup을 둘 수도 있습니다. Llama 3.2의 TransformerBlock는 MultiHeadAttention과
GatedFeedForward를 멤버로 갖는 NodeGroup입니다. 두 멤버 역시 여러 Node로 구성된 NodeGroup입니다.
template<TransformerType layout, QkvLayout qkv>
struct TransformerBlock : public vai::NodeGroup {
vai::node::Identity input;
typename BranchNorm<layout>::Type norm1;
MultiHeadAttention<qkv> mhAttn;
std::optional<vai::node::Slice> lastRow;
std::optional<vai::node::Gate> gate;
typename BranchNorm<layout>::Type norm2;
typename BranchFfn<layout>::Type ffn;
TransformerBlock(...)
{
input - norm1 - mhAttn - lastRow - gate/"then" - norm2 - ffn;
input - "residual"/mhAttn - lastRow - gate/"then" - "residual"/ffn;
defineSlot("in0", input.slot("in0"));
defineSlot("out0", ffn.slot("out0"));
}
};
Llama 3에서는 norm1·norm2가 RmsNorm, ffn이 GatedFeedForward입니다.
첫째 줄이 정규화·Attention·FFN으로 이어지는 주 경로이고, 둘째 줄이 잔차 경로입니다.
3. Identity¶
위 예에서 input은 아무 연산도 하지 않는 Identity입니다. 입력이 여러
갈래로 갈라질 때 그 분기점을 만들어 줍니다. 잔차 연결처럼 같은 입력을 두 곳으로
보내야 할 때 씁니다.
4. 컨테이너 사용 시 주의할 점¶
Node도 NodeGroup도 컨테이너에 담을 수 있습니다. 다만 -로 이은 배선은 슬롯이
서로의 주소를 갖고 있기 때문에 담긴 원소는 복사·이동하지 않고 주소를 유지해야 합니다.
blocks.reserve(config.nBlocks);
for (uint32_t i = 0; i < config.nBlocks; ++i)
{
// ... 블록별 설정
blocks.emplace_back(blockCfg);
}
for (size_t i = 1; i < blocks.size(); ++i)
blocks[i - 1] - blocks[i];
std::vector에 자리가 부족하면 기존 원소를 새 메모리로 옮깁니다.
push_back(Block(...))처럼 임시 노드를 넣는 것도 복사·이동을 일으킵니다.
이때 슬롯의 부모 참조나 연결이 원래 객체를 가리킨 채 남아 실행 시 잘못된
객체에 접근할 수 있습니다. 컴파일은 통과하지만 그래프 실행 시 에러가 발생합니다.
원소를 제자리에 묶어 두는 것은 작성자 몫이고, 방법은 두 가지입니다.
1. reserve + emplace_back: 필요한 개수만큼 자리를 미리 잡아 재할당을
막고 컨테이너 안에서 원소를 직접 만들어 복사를 막습니다. 위 예가 이 방식입니다.
2. std::unique_ptr: 원소를 힙에 두고 컨테이너는 포인터만 담습니다. 벡터가
포인터를 옮겨도 가리키는 객체는 움직이지 않습니다.
vAi는 2번 방식도 허용하지만 1번을 권장합니다.
그룹을 추가할 때는 기존 그룹을 재사용 가능한지 확인하세요.
std::deque, std::list, std::map 등 다른 STL 컨테이너도 마찬가지로 담긴
원소가 만들어진 자리에 머물러야 합니다. 어느 연산에서 원소가 옮겨지는지는
컨테이너마다 다르지만 그것은 표준 C++ 쪽 규칙이라 여기서는 다루지 않습니다.