기존 컴퓨팅 구조의 메모리 확장 문제

– 최근 대규모 데이터에 기반한 응용 처리가 증가함에 따라 데이터센터에서는 이를 더 빠르고 효율적으로 처리하기 위해 시스템의 메모리 확장에 많은 투자를 하고 있음 . 그러나 더블데이터대역폭 (DDR) 인터페이스를 통한 메모리 확장은 추가할 수 있는 메모리 수의 제한이 있어 대규모 데이터 처리에 충분치 않음.

– 데이터센터에서는 CPU 와 메모리로 이루어진 메모리 노드들을 따로 구성하고 , 응용을 수행하는 호스트의 메모리가 부족하면 네트워크로 연결된 메모리 노드를 자신의 메모리 공간으로 사용하는 원격데이터전송기술 (RDMA) 기반의 메모리 확장을 사용 . RDMA 는 CPU 를 사용하지 않고 Network Interface Card 를 통해 메모리에서 메모리로 직접 원격 데이터를 전송하는 기능을 제공.

– 단 RDMA 기반 메모리 확장 시스템도 노드 간 데이터 이동 과정의 불필요한 데이터 복사 , 소프트웨어의 개입 , 프로토콜 전환으로 인한 지연으로 성능 하락 . 메모리 확장 시 메모리 뿐 아니라 이를 제어할 CPU 까지 하나의 노드로 시스템에 추가돼야 하므로 비용도 높음.

메모리 중심 컴퓨팅의 필요성

– GPT 3 모델은 Nvidia A100 가속기를 1,500 여 개 활용하여 학습 시간을 23 일까지 단축했으나 GPT 4 모델의 경우 A100 개수를 2 배로 늘려도 83 일이라는 긴 학습 시간 소요.

– AI 작업이 고도화 되면서 개별 서버들이 필요 이상의 컴퓨팅 자원을 장착하는 Over provisioning 문제와 전력 낭비 문제도 심화 중

– 기존의 CPU 중심 구조는 CPU 에서 처리 빈도나 우선도가 높은 데이터를 DRAM 에 기억시키고 스토리지에서 해당 데이터를 불러오는 구성 . 따라서 CPU 가 지원 가능한 메모리 채널 수에 따라 메모리 대역폭이 한정되고 , 메모리 슬롯의 개수에 따라 메모리의 용량이 제한됨.

– CPU 소켓 당 코어 수가 많더라도 매번 메모리에서 코어로 제공되는 데이터의 규모가 작으면 CPU 의 성능이 제한될 뿐만 아니라 , 신형 메모리로 교체하려 해도 CPU 의 해당 메모리에 대한 지원 여부를 확인해야 함.

---------------------------------------------------------------------------------------------------------------------------------------------------