Data security has traditionally focused on two states: data at rest (encrypted on disk) and data in transit (encrypted over networks). The third state—data in use, actively being processed in memory—has remained largely unprotected. This gap matters because computation requires data to be decrypted in memory, creating a window during which privileged software (hypervisors, operating systems, firmware) or physical attackers can access plaintext data.

Confidential computing closes this gap through hardware-based trusted execution environments (TEEs) that isolate code and data even from the infrastructure owner. CPU-based TEEs—Intel SGX, Intel TDX, AMD SEV-SNP, ARM CCA—have matured over the past decade. But AI workloads run on GPUs, not CPUs, and extending confidential computing guarantees to GPU memory introduces a fundamentally different set of architectural challenges.

Why This Matters for AI

The tension is straightforward: AI training and inference increasingly happen on cloud infrastructure that the model owner does not control. This creates three simultaneous exposure risks:

Training data exposure. Organizations training models on sensitive data (medical records, financial transactions, legal documents) must trust the cloud provider's infrastructure, staff, and supply chain. A compromised hypervisor or a malicious insider can access training data in GPU memory.

Model exposure. Trained models represent substantial intellectual property. A model deployed for inference on third-party infrastructure can be extracted by an adversary with access to the host system's memory.

Inference data exposure. When users send queries to a cloud-hosted model, the input data (which may contain sensitive personal or business information) passes through the cloud provider's infrastructure in plaintext during processing.

Confidential computing addresses all three by ensuring that data remains encrypted in GPU memory and is only decrypted within a hardware-enforced enclave that the cloud provider cannot access.

The Architecture: From CPU Enclaves to GPU TEEs

CPU-based confidential computing works by creating isolated memory regions (enclaves) that are encrypted with keys held only by the hardware. Even the operating system and hypervisor cannot read enclave memory. Attestation protocols allow remote parties to verify that a specific enclave is running expected code on genuine hardware.

Extending this to GPUs requires solving several additional problems:

GPU memory isolation. GPU memory (HBM) operates differently from CPU memory. Data moves between CPU and GPU over PCIe or NVLink, and within the GPU across a complex memory hierarchy (registers, shared memory, L2 cache, HBM). Each of these transfer points must be protected.

Encrypted data transfer. The CPU-to-GPU link must be encrypted to prevent bus-snooping attacks. NVIDIA's confidential computing implementation uses a secure channel between the CPU TEE and a GPU-side security processor that manages encryption keys for GPU memory.

Attestation chain. Remote attestation must cover not just the CPU enclave but the GPU hardware, firmware, and driver stack. A compromised GPU driver could redirect computation or exfiltrate data, so the attestation chain must verify the integrity of the entire software stack from CPU through GPU.

Performance overhead. Encryption and isolation add computational overhead. For AI workloads where GPU utilization and memory bandwidth are critical, the performance cost of confidential computing determines practical viability.

Adoption Landscape

According to industry analysis (IDC, 2025), approximately 75% of organizations are reportedly adopting confidential computing technologies by 2025, and 45% are deploying them specifically in hybrid cloud environments. These figures reflect broad organizational interest, though the depth and maturity of adoption varies substantially.

Claims and Evidence

Critical Analysis

Performance overhead remains the central question. AI workloads are performance-sensitive—a 10% throughput reduction on a training run that costs $100,000 in compute translates directly to $10,000 in additional cost. Published benchmarks for GPU confidential computing show variable overhead depending on workload characteristics, but the abstract does not specify performance impact. Users need workload-specific benchmarks, not aggregate claims.

The trusted computing base is larger than it appears. Confidential computing reduces trust requirements but does not eliminate them. Users must trust the hardware manufacturer (NVIDIA, AMD), the firmware signing authority, and the attestation infrastructure. Side-channel attacks against TEEs—demonstrated against Intel SGX in particular—remind us that hardware isolation is not absolute.

Supply chain integrity. If the hardware itself is compromised (e.g., through supply chain tampering), hardware-based security guarantees collapse. Confidential computing assumes genuine, unmodified hardware—an assumption that is difficult to verify and increasingly relevant given geopolitical tensions around semiconductor supply chains.

Multi-tenant GPU sharing. Cloud economics favor multi-tenant GPU sharing (MIG, time-slicing). Confidential computing in multi-tenant GPU environments requires isolation between tenants at the hardware level, which adds complexity and may reduce the efficiency gains that multi-tenancy provides.

Adoption figures deserve scrutiny. The 75% adoption figure from IDC likely reflects stated plans or pilot deployments rather than production-scale implementation. The gap between organizational awareness of confidential computing and actual deployment of GPU-based TEEs for AI workloads is likely substantial.

Open Questions

Closing Reflection

GPU-based confidential computing addresses a real and growing tension: organizations want the economic benefits of cloud-based AI training and inference but cannot accept the data exposure risks inherent in running workloads on infrastructure they do not control. The technology is architecturally sound—extending proven CPU TEE principles to GPU memory—but its practical value depends on performance overhead, which must be low enough that security does not become a luxury tax on AI computation.

면책 조항: 이 게시물은 정보 제공 목적의 연구 동향 개요이다. 학술 연구에서 인용하기 전에 구체적인 연구 결과, 통계 및 주장은 원본 논문을 통해 검증해야 한다.

기밀 컴퓨팅의 GPU 확장: 사용 중인 AI 모델과 데이터 보호

데이터 보안은 전통적으로 두 가지 상태에 초점을 맞춰 왔다: 정지 상태의 데이터(디스크에 암호화)와 전송 중인 데이터(네트워크를 통해 암호화). 세 번째 상태인 사용 중 데이터, 즉 메모리에서 활발히 처리되는 데이터는 대체로 보호받지 못한 상태로 남아 있었다. 연산은 데이터를 메모리에서 복호화해야 하기 때문에 이 공백은 중요한 문제이다. 이로 인해 권한 있는 소프트웨어(하이퍼바이저, 운영 체제, 펌웨어)나 물리적 공격자가 평문 데이터에 접근할 수 있는 취약한 시간대가 생겨난다.

기밀 컴퓨팅(confidential computing)은 인프라 소유자로부터도 코드와 데이터를 격리하는 하드웨어 기반의 신뢰 실행 환경(TEE, Trusted Execution Environment)을 통해 이 공백을 해소한다. CPU 기반 TEE인 Intel SGX, Intel TDX, AMD SEV-SNP, ARM CCA는 지난 10년에 걸쳐 성숙 단계에 이르렀다. 그러나 AI 워크로드는 CPU가 아닌 GPU에서 실행되며, GPU 메모리로 기밀 컴퓨팅의 보장을 확장하는 것은 근본적으로 다른 아키텍처적 과제를 수반한다.

AI에서 이것이 중요한 이유

핵심적인 긴장 관계는 명확하다: AI 학습과 추론이 모델 소유자가 직접 통제하지 않는 클라우드 인프라에서 점점 더 많이 이루어지고 있다는 점이다. 이로 인해 세 가지 노출 위험이 동시에 발생한다.

학습 데이터 노출. 민감한 데이터(의료 기록, 금융 거래, 법률 문서)로 모델을 학습하는 조직은 클라우드 제공업체의 인프라, 직원 및 공급망을 신뢰해야 한다. 침해된 하이퍼바이저나 악의적인 내부자는 GPU 메모리의 학습 데이터에 접근할 수 있다.

모델 노출. 학습된 모델은 상당한 지적 재산을 나타낸다. 제3자 인프라에서 추론용으로 배포된 모델은 호스트 시스템의 메모리에 접근할 수 있는 공격자에 의해 탈취될 수 있다.

추론 데이터 노출. 사용자가 클라우드에 호스팅된 모델에 쿼리를 전송할 때, 입력 데이터(민감한 개인 정보나 비즈니스 정보를 포함할 수 있는)는 처리 중에 클라우드 제공업체의 인프라를 평문 상태로 통과한다.

기밀 컴퓨팅은 데이터가 GPU 메모리에서 암호화된 상태를 유지하고, 클라우드 제공업체가 접근할 수 없는 하드웨어 강제 인클레이브(enclave) 내에서만 복호화되도록 보장함으로써 이 세 가지 모두를 해결한다.

아키텍처: CPU 인클레이브에서 GPU TEE로

CPU 기반 기밀 컴퓨팅은 하드웨어만이 보유한 키로 암호화된 격리된 메모리 영역(인클레이브)을 생성하는 방식으로 작동한다. 운영 체제와 하이퍼바이저조차도 인클레이브 메모리를 읽을 수 없다. 원격 증명(attestation) 프로토콜을 통해 원격 당사자는 특정 인클레이브가 정품 하드웨어에서 예상된 코드를 실행하고 있음을 검증할 수 있다.

이를 GPU로 확장하려면 몇 가지 추가적인 문제를 해결해야 한다.

GPU 메모리 격리. GPU 메모리(HBM)는 CPU 메모리와 다른 방식으로 동작한다. 데이터는 PCIe 또는 NVLink를 통해 CPU와 GPU 사이에서 이동하며, GPU 내부에서는 복잡한 메모리 계층 구조(레지스터, 공유 메모리, L2 캐시, HBM)를 가로질러 이동한다. 이러한 전송 지점 각각이 보호되어야 한다.

암호화된 데이터 전송. 버스 스누핑(bus-snooping) 공격을 방지하기 위해 CPU-GPU 링크를 암호화해야 한다. NVIDIA의 기밀 컴퓨팅 구현은 CPU TEE와 GPU 메모리의 암호화 키를 관리하는 GPU 측 보안 프로세서 사이의 보안 채널을 사용한다.

증명 체인. 원격 증명은 CPU 인클레이브뿐만 아니라 GPU 하드웨어, 펌웨어, 드라이버 스택까지 포괄해야 한다. 침해된 GPU 드라이버는 연산을 우회하거나 데이터를 유출할 수 있으므로, 증명 체인은 CPU부터 GPU에 이르는 전체 소프트웨어 스택의 무결성을 검증해야 한다.

성능 오버헤드. 암호화와 격리는 연산 오버헤드를 추가한다. GPU 활용률과 메모리 대역폭이 중요한 AI 워크로드에서는 기밀 컴퓨팅의 성능 비용이 실질적인 실현 가능성을 결정한다.

도입 현황

주장과 근거

비판적 분석

성능 오버헤드는 여전히 핵심 쟁점이다. AI 워크로드는 성능에 민감하다. 컴퓨팅 비용으로 $100,000이 소요되는 훈련 실행에서 처리량이 10% 감소하면 이는 곧 $10,000의 추가 비용으로 직결된다. GPU 기밀 컴퓨팅에 대해 발표된 벤치마크는 워크로드 특성에 따라 오버헤드가 다양하게 나타나지만, 해당 초록에는 성능 영향이 명시되어 있지 않다. 사용자에게는 집계된 주장이 아니라 워크로드별 벤치마크가 필요하다.

신뢰 컴퓨팅 기반(trusted computing base)은 보이는 것보다 더 넓다. 기밀 컴퓨팅은 신뢰 요구 사항을 줄이지만 완전히 제거하지는 못한다. 사용자는 하드웨어 제조업체(NVIDIA, AMD), 펌웨어 서명 기관, 그리고 원격 증명(attestation) 인프라를 신뢰해야 한다. 특히 Intel SGX를 대상으로 실증된 TEE에 대한 사이드 채널(side-channel) 공격은 하드웨어 격리가 절대적이지 않음을 상기시켜 준다.

공급망 무결성. 하드웨어 자체가 (예: 공급망 변조를 통해) 침해된 경우, 하드웨어 기반 보안 보장은 붕괴된다. 기밀 컴퓨팅은 진본이며 수정되지 않은 하드웨어를 전제로 하는데, 이는 검증하기 어려운 가정이며 반도체 공급망을 둘러싼 지정학적 긴장이 고조되는 현 시점에서 점점 더 중요해지고 있다.

멀티 테넌트(multi-tenant) GPU 공유. 클라우드 경제학은 멀티 테넌트 GPU 공유(MIG, 타임 슬라이싱)를 선호한다. 멀티 테넌트 GPU 환경에서의 기밀 컴퓨팅은 하드웨어 수준에서 테넌트 간 격리를 필요로 하며, 이는 복잡성을 증가시키고 멀티 테넌시가 제공하는 효율성 이점을 감소시킬 수 있다.

도입 수치는 면밀한 검토가 필요하다. IDC의 75% 도입 수치는 프로덕션 규모의 구현보다는 계획 표명이나 파일럿 배포를 반영할 가능성이 높다. 기밀 컴퓨팅에 대한 조직의 인식과 AI 워크로드를 위한 GPU 기반 TEE의 실제 배포 사이의 격차는 상당할 것으로 보인다.

미해결 질문들

마무리 성찰

GPU 기반 기밀 컴퓨팅은 실재하며 점점 커지는 긴장을 해소한다. 조직들은 클라우드 기반 AI 학습 및 추론의 경제적 이점을 원하지만, 자신들이 통제하지 않는 인프라에서 워크로드를 실행하는 데 내재된 데이터 노출 위험은 받아들일 수 없다. 이 기술은 아키텍처적으로 건전하다. 즉, 검증된 CPU TEE 원칙을 GPU 메모리로 확장한 것이다. 그러나 그 실질적인 가치는 성능 오버헤드에 달려 있으며, 보안이 AI 연산에 대한 사치세가 되지 않을 만큼 오버헤드가 충분히 낮아야 한다.