How do you test an AI system that makes life-or-death decisions at 70 mph? The EU's AI Act classifies autonomous vehicle (AV) components as high-risk AI systems, triggering stringent requirements for safety, transparency, and accountability. But the testing methodologies needed to verify these requirements largely do not exist yet. A comprehensive study in European Transport Research Review by Fernández Llorca et al. (2024) maps the current landscape of AV testing against four pillars of trustworthy AI—cybersecurity, transparency, robustness, and fairness—and finds substantial gaps between what regulation demands and what current testing can deliver.

The Research Landscape

The Regulatory Context

The EU AI Act introduces a risk-based classification for AI systems, with AVs falling squarely in the high-risk category. The Act requires that high-risk AI systems demonstrate adequate levels of accuracy, robustness, and cybersecurity (Article 15), support human oversight (Article 14), and meet transparency requirements. For AVs specifically, the concept of "safety component" becomes central: an AI module whose failure or malfunction could endanger human safety.

Fernández Llorca et al. conducted an interdisciplinary workshop with 21 academics followed by in-depth analysis by a smaller expert group. Their methodology—expert opinion synthesis rather than empirical testing—reflects the early state of the field: the testing frameworks themselves are what needs to be developed.

Cybersecurity: The Attack Surface Expands

AVs present a cybersecurity challenge that differs qualitatively from conventional vehicle security. Traditional vehicles have limited external interfaces; AVs communicate with infrastructure (V2X), cloud services, other vehicles, and update servers. Each communication channel is a potential attack vector.

The study identifies several cybersecurity concerns specific to AI components:

Adversarial attacks on perception systems. Small perturbations to camera images, LiDAR point clouds, or radar signals can cause misclassification. A stop sign with carefully placed stickers might be classified as a speed limit sign. These attacks exploit the statistical nature of neural networks and have no direct analog in traditional vehicle security.

Model theft and reverse engineering. AV perception models represent substantial intellectual property. If an attacker can extract model parameters through API queries or side-channel analysis, they can develop more effective adversarial attacks.

Supply chain vulnerabilities. AV software stacks incorporate components from multiple vendors. A compromised component in the supply chain could introduce vulnerabilities that are difficult to detect through end-to-end testing.

The authors note that existing automotive cybersecurity standards (UN Regulation No. 155, ISO/SAE 21434) address vehicle-level cybersecurity but do not adequately cover AI-specific attack vectors. New testing methodologies are needed that combine traditional penetration testing with AI-specific adversarial evaluation.

Transparency: The Explainability Challenge

The AI Act's transparency requirements create a tension for AVs: deep neural networks that achieve the best perception performance are also the least explainable. The study examines this through several lenses:

Decision-level explainability. Can the system explain why it braked, swerved, or accelerated? Post-hoc explanation methods (saliency maps, LIME, SHAP) can provide partial answers but are themselves imperfect—they may highlight features that correlate with the decision without revealing the causal mechanism.

System-level transparency. Beyond individual decisions, regulators and accident investigators need to understand the system's overall decision-making architecture. What sensors contributed to a perception judgment? How were conflicting sensor readings resolved? This requires documentation standards that do not yet exist.

Accident investigation. Current vehicle event data recorders capture physical parameters (speed, steering angle, brake pressure). For AVs, the equivalent would need to capture the AI system's internal state—sensor inputs, perception outputs, planning decisions—at sufficient resolution for post-hoc analysis.

Robustness: Beyond Standard Test Cases

Robustness testing for AVs must address scenarios that are rare in training data but critical for safety. The study identifies several dimensions:

Distributional shift. Models trained on data from one geographic region, season, or weather condition may fail in others. Testing must systematically probe performance across the operational design domain.

Graceful degradation. When sensor inputs are degraded (rain, fog, sensor failure), the system should reduce capability rather than fail catastrophically. Testing this requires controlled degradation of inputs—a methodology that is technically challenging to implement.

Long-tail scenarios. The most dangerous driving situations are statistically rare. Testing must find ways to evaluate performance in scenarios that may not appear in any available dataset—pedestrians in unusual clothing, unusual vehicle configurations, construction zones with non-standard signage.

Fairness: Who Does the AV Protect?

The fairness dimension is perhaps the most underexplored. The study raises several concerns:

Detection equity. Do perception systems detect all pedestrians equally well, regardless of skin tone, clothing, body size, or mobility aids? Research has documented disparities in pedestrian detection accuracy across demographic groups.

Behavioral equity. Does the AV's planning system treat all road users with equal caution, or does it behave differently around different types of vehicles, cyclists, or pedestrians?

Access equity. If AV technology is deployed primarily in affluent urban areas, does this create a two-tier transportation system?

Kim et al. (2025) address a related concern in their work on resilient dual-brain controller architectures for physical AI systems under the EU AI Act, emphasizing that recovery-ready resilience must be designed into the system architecture rather than added as an afterthought.

Critical Analysis: Claims and Evidence

Open Questions

What This Means for the Field

Fernández Llorca et al. provide a valuable mapping of the terrain that AV testing must cover to meet trustworthy AI requirements. The gap between regulatory ambition and testing capability is substantial. For AV developers, the message is that demonstrating safe driving in normal conditions is necessary but far from sufficient. For regulators, the study highlights the need for new testing standards that address AI-specific risks. The intersection of cybersecurity, transparency, robustness, and fairness creates a multidimensional testing challenge that no single discipline can address alone.

Explore related autonomous driving and AI safety research through ORAA ResearchBrain.

면책 조항: 이 게시물은 정보 제공을 목적으로 한 연구 동향 개요이다. 학술 연구에서 인용하기 전에 구체적인 연구 결과, 통계 및 주장은 원본 논문을 통해 반드시 확인해야 한다.

신뢰할 수 있는 AI를 위한 자율주행차 테스트: 사이버보안, 투명성, 견고성, 공정성

시속 70마일로 주행하면서 생사에 관한 결정을 내리는 AI 시스템을 어떻게 테스트할 것인가? EU의 AI Act는 자율주행차(AV) 구성요소를 고위험 AI 시스템으로 분류하며, 이에 따라 안전성, 투명성, 책임성에 관한 엄격한 요건이 적용된다. 그러나 이러한 요건을 검증하는 데 필요한 테스트 방법론은 아직 대부분 존재하지 않는다. European Transport Research Review에 게재된 Fernández Llorca et al.(2024)의 종합 연구는 사이버보안, 투명성, 견고성, 공정성이라는 신뢰할 수 있는 AI의 네 가지 핵심 요소를 기준으로 AV 테스트의 현황을 분석하고, 규제가 요구하는 바와 현재 테스트가 실제로 달성할 수 있는 수준 사이에 상당한 격차가 존재함을 밝히고 있다.

연구 현황

규제적 맥락

EU AI Act는 AI 시스템에 대한 위험 기반 분류 체계를 도입하며, AV는 명확히 고위험 범주에 해당한다. 동법은 고위험 AI 시스템이 충분한 수준의 정확성, 견고성, 사이버보안을 갖출 것(제15조), 인간의 감독을 지원할 것(제14조), 그리고 투명성 요건을 충족할 것을 요구한다. AV의 경우, "안전 구성요소"라는 개념이 핵심적인 역할을 한다. 즉, 고장이나 오작동이 인간의 안전을 위협할 수 있는 AI 모듈이 이에 해당한다.

Fernández Llorca et al.은 21명의 학자를 대상으로 한 학제 간 워크숍을 진행한 후, 소규모 전문가 그룹이 심층 분석을 수행하였다. 실증적 테스트가 아닌 전문가 의견 종합을 방법론으로 채택한 것은 해당 분야의 초기 단계를 반영한다. 즉, 개발이 필요한 것은 바로 테스트 프레임워크 자체이다.

사이버보안: 확장되는 공격 표면

AV는 기존 차량 보안과는 질적으로 다른 사이버보안 과제를 제시한다. 기존 차량은 외부 인터페이스가 제한적이었던 반면, AV는 인프라(V2X), 클라우드 서비스, 다른 차량, 그리고 업데이트 서버와 통신한다. 각 통신 채널은 잠재적인 공격 경로가 된다.

본 연구는 AI 구성요소에 특화된 몇 가지 사이버보안 우려 사항을 식별한다.

인지 시스템에 대한 적대적 공격. 카메라 이미지, LiDAR 포인트 클라우드, 또는 레이더 신호에 가해지는 미세한 변형은 오분류를 유발할 수 있다. 예를 들어, 신중하게 스티커가 부착된 정지 표지판이 속도 제한 표지판으로 분류될 수 있다. 이러한 공격은 신경망의 통계적 특성을 악용하며, 기존 차량 보안에는 이에 직접적으로 대응하는 유사 사례가 없다.

모델 탈취 및 역공학. AV 인지 모델은 상당한 지적 재산을 내포한다. 공격자가 API 질의나 부채널 분석을 통해 모델 파라미터를 추출할 수 있다면, 보다 효과적인 적대적 공격을 개발할 수 있다.

공급망 취약점. AV 소프트웨어 스택은 여러 공급업체의 구성요소를 통합한다. 공급망에서 손상된 구성요소는 종단 간 테스트를 통해 감지하기 어려운 취약점을 도입할 수 있다.

저자들은 기존 자동차 사이버보안 표준(UN Regulation No. 155, ISO/SAE 21434)이 차량 수준의 사이버보안을 다루고 있으나 AI 특유의 공격 벡터를 충분히 포괄하지 못한다고 지적한다. 기존의 침투 테스트와 AI 특화 적대적 평가를 결합한 새로운 테스트 방법론이 필요하다.

투명성: 설명 가능성의 과제

AI Act의 투명성 요건은 AV에 있어 하나의 긴장을 야기한다. 최고의 인지 성능을 달성하는 심층 신경망이 동시에 가장 설명하기 어려운 시스템이기도 하다. 본 연구는 이를 여러 관점에서 검토한다.

의사결정 수준의 설명 가능성. 시스템이 왜 제동하거나, 방향을 전환하거나, 가속했는지 설명할 수 있는가? 사후 설명 방법(saliency map, LIME, SHAP)은 부분적인 답을 제공할 수 있지만, 이 방법들 자체도 불완전하다. 즉, 인과 메커니즘을 드러내지 않고 결정과 상관관계가 있는 특성을 강조할 수 있다. 시스템 수준의 투명성. 개별 결정을 넘어, 규제 당국과 사고 조사관은 시스템의 전반적인 의사결정 구조를 이해할 필요가 있다. 어떤 센서가 인지 판단에 기여했는가? 상충되는 센서 판독값은 어떻게 해결되었는가? 이를 위해서는 아직 존재하지 않는 문서화 표준이 요구된다.

사고 조사. 현재의 차량 사고기록장치(event data recorder)는 물리적 매개변수(속도, 조향각, 제동 압력)를 기록한다. AV의 경우, 이에 상응하는 장치는 사후 분석을 위해 충분한 해상도로 AI 시스템의 내부 상태—센서 입력, 인지 출력, 계획 결정—를 포착해야 할 것이다.

견고성: 표준 테스트 사례를 넘어서

AV에 대한 견고성 테스트는 훈련 데이터에서 드물지만 안전에 매우 중요한 시나리오를 다루어야 한다. 본 연구는 다음과 같은 여러 차원을 식별한다:

분포 이동(Distributional shift). 특정 지리적 지역, 계절, 또는 기상 조건의 데이터로 훈련된 모델은 다른 조건에서 실패할 수 있다. 테스트는 운용 설계 도메인(operational design domain) 전반에 걸쳐 성능을 체계적으로 탐색해야 한다.

점진적 성능 저하(Graceful degradation). 센서 입력이 저하될 때(비, 안개, 센서 고장), 시스템은 치명적 실패보다는 기능을 축소하는 방식으로 대응해야 한다. 이를 테스트하기 위해서는 입력의 제어된 저하가 필요한데, 이는 기술적으로 구현하기 어려운 방법론이다.

롱테일 시나리오(Long-tail scenarios). 가장 위험한 주행 상황은 통계적으로 드물다. 테스트는 어떤 데이터셋에도 등장하지 않을 수 있는 시나리오—비정상적인 복장의 보행자, 비정상적인 차량 구성, 비표준 표지판이 있는 공사 구역—에서의 성능을 평가할 방법을 찾아야 한다.

공정성: AV는 누구를 보호하는가?

공정성 차원은 아마도 가장 덜 탐구된 영역일 것이다. 본 연구는 다음과 같은 몇 가지 우려를 제기한다:

탐지 형평성(Detection equity). 인지 시스템은 피부색, 복장, 체형, 또는 이동 보조 기기에 관계없이 모든 보행자를 동등하게 잘 탐지하는가? 연구에서는 인구 집단에 따른 보행자 탐지 정확도의 격차가 문서화되어 있다.

행동 형평성(Behavioral equity). AV의 계획 시스템은 모든 도로 이용자를 동등한 주의로 대우하는가, 아니면 차량 유형, 자전거 이용자, 또는 보행자에 따라 다르게 행동하는가?

접근 형평성(Access equity). AV 기술이 주로 부유한 도시 지역에 배치된다면, 이것이 이중 계층 교통 시스템을 만드는가?

Kim et al. (2025)은 EU AI Act 하에서 물리적 AI 시스템을 위한 복원력 있는 이중 두뇌 컨트롤러(dual-brain controller) 아키텍처에 관한 연구에서 관련 우려를 다루며, 복구 준비된 회복 탄력성(recovery-ready resilience)은 사후에 추가되는 것이 아니라 시스템 아키텍처에 설계되어야 한다고 강조한다.

비판적 분석: 주장과 근거

미해결 질문

이 분야에 대한 시사점

Fernández Llorca 등은 AV 테스트가 신뢰할 수 있는 AI 요건을 충족하기 위해 다루어야 할 영역을 유용하게 지도화하였다. 규제적 야망과 테스트 역량 사이의 격차는 상당하다. AV 개발자에게 있어 이 연구의 메시지는, 정상 조건에서의 안전한 주행을 입증하는 것이 필요하지만 그것만으로는 결코 충분하지 않다는 것이다. 규제 당국에게는, 이 연구가 AI 특유의 위험을 다루는 새로운 테스트 기준의 필요성을 부각시킨다. 사이버보안, 투명성, 견고성, 공정성의 교차점은 어떤 단일 분야도 홀로 다룰 수 없는 다차원적 테스트 과제를 만들어낸다.

ORAA ResearchBrain을 통해 자율주행 및 AI 안전성 관련 연구를 탐색하라.