1. 개요
Mixture of Experts (MoE)는 여러 전문가(Expert) 모델을 협업시키는 머신러닝 기법입니다. 각 전문가는 입력 데이터의 특정 부분을 처리하도록 특화되며, **게이팅 네트워크(Gating Network)**가 입력에 따라 적절한 전문가를 선택하거나 가중치를 부여합니다. 이는 모델 용량을 늘리며 계산 비용을 절약하는 데 효과적입니다.
2. 주요 구성 요소
- 전문가(Experts) :
- 일반적으로 동일한 구조의 신경망(예: Transformer 레이어)으로 구성됩니다.
- 각 전문가는 특정 입력 패턴(예: 이미지의 특정 영역, 텍스트의 특정 주제)에 특화됩니다.
- 게이팅 네트워크(Gating Network) :
- 입력을 분석하여 각 전문가의 기여도(가중치)를 결정합니다.
- 주로 Softmax 또는 Top-k Routing 을 사용해 일부 전문가만 활성화합니다.
- 예: Switch Transformer에서는 각 입력이 1개의 전문가 로만 라우팅됩니다.
3. 동작 원리
- 입력 분배 : 게이팅 네트워크가 입력 ( x )를 분석해 전문가의 가중치를 계산합니다.
- 예: 가중치=Softmax(Wg⋅x+bg).
- 전문가 실행 : 선택된 전문가들이 입력을 처리합니다.
- Top-k 라우팅 시 ( k )명의 전문가만 활성화됩니다.
- 결합 : 전문가들의 출력을 가중합하여 최종 결과를 생성합니다.
- y=∑i=1nwi⋅Ei(x), 여기서 ( w_i )는 게이팅 가중치, ( E_i )는 전문가.
4. 학습 방법
- 동시 학습 : 전문가와 게이팅 네트워크를 함께 훈련시킵니다.
- 그래디언트 역전파 : 게이팅 네트워크는 전문가 선택에 대한 그래디언트를 학습합니다.
- 주요 도전 과제 :
- 전문가 불균형(Expert Imbalance) : 일부 전문가만 주로 사용되는 문제.
→ **부가 손실(Auxiliary Loss)**로 전문가 사용 분포를 균형 있게 유도합니다. - 학습 불안정성 : 게이팅의 갑작스러운 변화가 학습을 방해할 수 있습니다.
→ 노이즈 추가 또는 지연 업데이트 기법으로 안정성을 높입니다.
- 전문가 불균형(Expert Imbalance) : 일부 전문가만 주로 사용되는 문제.
5. 장점과 단점
- 장점 :
- 효율적 확장 : 모델 파라미터는 증가하지만, 활성화되는 전문가 수는 제한되어 계산 비용이 절약됩니다.
- 전문화된 예측 : 각 전문가가 복잡한 데이터 분포의 일부를 효과적으로 처리합니다.
- 단점 :
- 구현 복잡성 : 분산 시스템에서 전문가 간 통신 오버헤드가 발생할 수 있습니다.
- 과적합 위험 : 전문가가 특정 데이터에 과도하게 적응할 수 있습니다.
6. 주요 변형 및 응용
- 라우팅 기법 :
- Top-k Routing (k=1인 경우 Switch Transformer).
- Noisy Top-k : 라우팅에 무작위성을 추가해 탐색을 촉진합니다.
- 응용 사례 :
- NLP : Google의 Switch Transformer , GLaM (1.2조 파라미터).
- 컴퓨터 비전 : Vision MoE, LIMoE (Large Image Mixture of Experts).
- 멀티모달 : DeepSeek-MoE, Mixtral 8x7B (오픈소스 MoE LLM).
7. 최신 기술 동향
- 효율성 개선 : GShard, T5-MoE 등에서 Expert Parallelism 을 도입해 분산 학습을 최적화합니다.
- 동적 라우팅 : 입력에 따라 전문가 수를 유동적으로 조절하는 Adaptive MoE 가 연구되고 있습니다.
- 경량화 : 적은 수의 전문가로도 성능을 유지하는 Lightweight MoE 구조가 주목받고 있습니다.
8. 결론
MoE는 대규모 모델의 효율적인 확장을 가능하게 하는 핵심 기술입니다. 게이팅 메커니즘과 전문가 특화 학습을 통해 계산 자원을 절약하면서도 복잡한 작업을 처리할 수 있습니다. 하지만 구현 복잡성과 전문가 불균형 문제는 여전히 개선이 필요한 분야입니다.