728x90 반응형 SMALL deepseek1 DeepSpeed 딥러닝 중국 AI 딥시크 챗GPT 제치고 美앱스토어 1위 실리콘밸리 충격 딥시크(DeepSeek)는 마이크로소프트에서 개발한 오픈 소스 딥러닝 최적화 라이브러리로, 대규모 모델, 특히 자연어 처리(NLP) 분야에서의 대규모 언어 모델 학습을 지원합니다. 이 라이브러리는 효율적이고 효과적인 분산 학습을 가능하게 하여, 수조 개의 파라미터를 가진 모델을 학습할 수 있도록 돕습니다.DeepSeek의 주요 특징- Extreme Scale: 수백 대의 GPU 클러스터를 사용하여도 3D Parallelism을 통해 수조 개의 파라미터를 가진 모델을 효율적으로 학습할 수 있습니다.- Extremely Memory Efficient: ZeRO-Offload 기능을 통해 단일 GPU로도 10B 파라미터의 모델을 학습할 수 있으며, 이는 기존 SOTA보다 10배 더 큰 모델을 가능하게 합니다... 2025. 1. 27. 이전 1 다음 728x90 반응형 LIST
