AWS가 SageMaker 추론 엔드포인트에 NVIDIA GPU 파티셔닝 기능을 추가했다.

Amazon Web Services(AWS)는 2026년 11월 6일 Amazon SageMaker Inference에 NVIDIA Multi-Instance GPU(MIG) 지원을 추가한다고 발표했습니다. 이 기능을 사용하면 각 배포에 GPU 한 장 전체를 할당하는 대신, 하드웨어 수준에서 격리된 여러 모델이 실시간 엔드포인트의 가속기 하나를 함께 사용할 수 있습니다.

전체 GPU 할당 방식에는 이 기능이 해결하려는 두 가지 제약이 있습니다. 첫째, 모델이 사용하는 메모리나 연산 자원이 아무리 적더라도 가속기 개수가 인스턴스가 호스팅할 수 있는 모델 수의 상한을 결정합니다. 둘째, 더 새로운 GPU를 도입하려는 고객은 장치 전체를 할당해야 합니다. 반면 MIG는 각 파티션에 고정된 비율의 연산 유닛과 전용 메모리 블록을 할당하며, 격리는 하드웨어에서 강제됩니다. 또한 각 모델이 상주 상태를 유지하므로, 멀티 모델 엔드포인트가 공유 장치에 모델을 처음 적재할 때 발생하는 지연도 피할 수 있습니다.

파티셔닝은 추론 컴포넌트를 사용하는 실시간 엔드포인트에서만 가능합니다. 추론 컴포넌트는 하나의 엔드포인트에 여러 모델을 배포하고 각 모델이 받을 컴퓨팅 자원을 설정하는 SageMaker의 구성 요소입니다. 단일 모델 엔드포인트, 서버리스 엔드포인트, 이기종 인스턴스 풀은 파티셔닝할 수 없습니다. 비동기 워크로드도 이 기능의 적용 범위에서 제외됩니다. 비동기 호출은 추론 컴포넌트를 지정할 수 없기 때문입니다.

Salesforce는 요구 사항 정의와 초기 구현 검증에 참여했습니다. Salesforce의 소프트웨어 엔지니어링 아키텍트 Richard Chang은 MIG가 워크로드를 안전하게 통합하고, GPU 활용률을 높이며, 예측 가능한 성능과 격리를 유지하면서 추론 비용을 줄여 줄 것으로 기대한다고 말했습니다. Salesforce는 대표적인 실제 프로덕션 워크로드로 소프트웨어를 검증할 준비를 하고 있으므로, 이러한 효과는 보고된 프로덕션 결과가 아니라 기대치입니다.

**두 개의 API 필드가 파티셔닝을 제어합니다**

SageMaker AI 개발자 문서는 두 개의 선택적 필드를 정의합니다. AcceleratorPartitionLayouts는 프로덕션 변형(production variant)에서 분할 구성을 선언하고, AcceleratorPartitionType은 추론 컴포넌트가 사용할 프로필을 선택합니다. 이 기능은 새로운 API 작업, 리소스 유형, AWS Identity and Access Management 작업을 추가하지 않습니다. 두 필드를 모두 생략하면 기존 엔드포인트 동작이 유지됩니다.

선택한 레이아웃은 해당 변형의 모든 인스턴스에 있는 모든 가속기에 똑같이 적용됩니다. AWS의 예시에서는 ml.p4d.24xlarge의 A100 여덟 장 각각을 mig-4g.20gb, mig-2g.10gb, mig-1g.5gb 파티션으로 나누어, 엔드포인트 전체에 파티션 24개를 만듭니다. 추론 컴포넌트의 각 복제본은 요청된 파티션 하나를 차지하며, InvokeEndpoint는 파티션 식별자 없이 컴포넌트 이름으로 계속 모델을 지정합니다. AWS는 자체 테스트에서 가속기를 분할하는 데 프로비저닝 시간이 약 17초 추가된다고 밝혔습니다.

격리는 GPU 연산과 메모리에만 적용되며, 호스트 전체에 적용되지는 않습니다. 한 인스턴스의 모델들은 여전히 호스트 CPU, 호스트 메모리, 스토리지, 네트워킹, 엔드포인트 라우팅을 공유합니다. 레이아웃에 없는 프로필을 요청하는 컴포넌트는 GPU 한 장 전체를 받는 대신 거부됩니다. 실행 중인 엔드포인트의 레이아웃을 변경하려면 새 엔드포인트를 만들고 트래픽을 이전해야 하며, 컴포넌트를 다른 프로필로 옮기려면 새 컴포넌트를 만들어야 합니다.

**AWS, H100 파티션과 A100 전체 장치를 비교 테스트**

AWS는 프로덕션 SageMaker 실시간 엔드포인트에서 Llama-3.1-8B-Instruct를 사용해, H100의 mig-3g.40gb 파티션 하나와 A100-40GB 전체 장치를 비교했습니다. 양쪽 모두 모델 레플리카 하나, 동일한 컨테이너, 토크나이저, 클라이언트 구성을 사용했습니다. genai-bench는 동시성 2에서 512 사이의 다섯 가지 트래픽 형태를 생성했습니다. NVIDIA의 프로필 가이드에 따르면, 테스트한 H100 프로필은 7개의 스트리밍 멀티프로세서 중 3개와 8개의 메모리 단위 중 4개를 할당받습니다. 따라서 두 구성의 메모리 용량은 비슷하지만 연산 할당은 다릅니다.

AWS는 전체 테스트에서, 각 시나리오의 비용 이점이 가장 컸던 부하 지점에서 H100 파티션이 초당 출력 토큰 수를 53%에서 89% 더 많이 처리했다고 보고했습니다. 토큰 간 지연 시간은 8.9%에서 42.1% 낮았고, 첫 토큰까지의 시간은 5.6%에서 47.5% 낮았습니다. 6,000토큰과 8,000토큰 워크로드에서 최고 동시성 조건일 때, A100은 요청의 3분의 1에서 2분의 1가량이 서비스 기한을 넘겼지만 파티션은 한 건도 기한을 넘기지 않았습니다.

AWS의 비용 분석은 보편적 결론이 아닌 사례별 비교로 제시되었으며, 워크로드별 손익분기점을 넘어서는 트래픽에서 백만 출력 토큰당 비용이 18%에서 34% 낮다는 결과를 보여 주었습니다. 이 손익분기점은 100토큰 프롬프트에서는 동시성 64, 8,000토큰 프롬프트에서는 동시성 4에서 나타났습니다. 그 아래에서는 A100 전체 장치가 더 저렴했으므로, 입력이 짧거나 동시성이 낮은 워크로드에는 구형 전체 GPU가 더 적합할 수 있습니다. 단위당 비용 비교는 온디맨드 인스턴스 가격을 각 인스턴스의 테스트 단위 수로 나눈 값입니다.

**지원 하드웨어와 운영 제한**

이번 출시에는 네 가지 인스턴스 패밀리가 포함됩니다. 파티션 개수와 프로필은 가속기에 따라 다릅니다.

| 인스턴스 패밀리 | 가속기 | GPU 메모리 | GPU당 최대 파티션 수 |

|---|---|---|---|

| P4d | NVIDIA A100 | 40 GB | 7 |

| P5 | NVIDIA H100 | 80 GB | 7 |

| G7 | NVIDIA RTX PRO 4500 Blackwell | 32 GB | 2 |

| G7e | NVIDIA RTX PRO 6000 Blackwell Server Edition | 96 GB | 4 |

GPU 파티셔닝은 US East(N. Virginia), US East(Ohio), US West(Oregon), Asia Pacific(Singapore), Asia Pacific(Tokyo), Europe(Frankfurt), Europe(Ireland)에서 사용할 수 있으며, 리전별 인스턴스 가용성과 엔드포인트 할당량에 따릅니다. 파티션은 가속기 경계를 넘어 걸치지 않으므로, 전체 GPU나 여러 GPU가 필요한 모델은 여전히 장치 전체가 필요합니다.

고객은 전체 GPU 인스턴스 요금을 계속 지불합니다. 파티셔닝은 사용 가능한 용량을 늘릴 수 있지만 인스턴스의 시간당 가격을 낮추지는 않습니다. 파티셔닝된 엔드포인트와 그 추론 컴포넌트는 GPU, CPU, 메모리 사용률 지표를 CloudWatch에 게시하지 않으며, 호출 및 지연 시간 지표는 계속 제공됩니다. P4d에서 mig-1g.10gb 프로필은 NVIDIA R525 드라이버 이상을 요구하는데, 기본 이미지에는 이 드라이버가 포함되어 있지 않으므로 AWS는 고객에게 최신 추론 AMI를 사용하라고 안내합니다.

용량 계획 관점에서 보면, 이번 출시로 지원되는 각 가속기는 여러 개의 고정된 GPU 크기로 나뉘게 됩니다. 다만 하드웨어 수준에서 격리된 고밀도 배포에는 전체 인스턴스 과금, 제자리에서 변경할 수 없는 레이아웃, 축소된 사용률 원격 측정이 따릅니다. AWS의 벤치마크는 실제 트래픽을 측정하는 것의 가치를 보여 줍니다. 해당 테스트에서 H100 파티션은 더 무거운 장문 컨텍스트 조건에서 성능과 비용 이점을 보였고, 손익분기점 결과는 가벼운 워크로드에서는 A100 전체 장치가 더 저렴하다는 점을 보여 주었습니다.