The Question

Autonomous vehicles (AVs) must perceive, predict, and plan in real-time across infinitely variable driving scenarios. No single sensor is sufficient: cameras provide rich visual information but fail in darkness and rain; LiDAR provides precise 3D geometry but at high cost and limited range; radar penetrates weather but lacks resolution. Sensor fusion — combining complementary modalities — is the technical backbone of AV perception. But even with perfect fusion, how can safety be verified? A human driver encounters a novel dangerous scenario roughly once per 100 million miles. Can AV systems be tested to statistical confidence that they match or exceed human safety?

Landscape

Yang et al. (2025) introduced CDRP3 — a cascade deep reinforcement learning framework that jointly optimises perception, prediction, and planning for urban driving safety. Unlike modular AV stacks where perception, prediction, and planning are separate subsystems with information loss at each interface, CDRP3 uses an end-to-end cascade where each module is trained to support downstream tasks. This approach improved safety in scenarios involving sudden appearance of unknown objects.

Palladin et al. (2025) addressed a specific perception gap: long-range highway driving. At 100+ km/h, safe operation requires perception at 250+ metres — well beyond the 50–100 m typically addressed in urban driving research. Their self-supervised sparse sensor fusion approach achieved reliable long-range object detection by combining sparse LiDAR returns with dense camera features, specifically designed for highway scenarios.

Panchal et al. (2025) focused on adverse weather — fog, rain, snow — where camera and LiDAR performance degrade substantially. Their multi-level fusion network uses modality-specific backbones merged via attention-driven feature fusion, with radar providing resilience to adverse weather conditions.

Omefe (2025) extended sensor fusion to vehicle convoys, where V2X (vehicle-to-everything) communication enables vehicles to share sensor data, effectively creating a distributed perception system with coverage beyond any single vehicle's sensor range.

Key Claims & Evidence

Open Questions

Referenced Papers

• [1] Yang, Y. et al. (2025). CDRP3: Cascade Deep RL for Urban Driving Safety. IEEE Trans. Intelligent Transportation Systems. DOI: 10.1109/TITS.2024.3516089
• [2] Palladin, E. et al. (2025). Self-Supervised Sparse Sensor Fusion for Long Range Perception. arXiv. DOI: 10.48550/arXiv.2508.13995
• [3] Omefe, S. (2025). Autonomous Vehicle Convoy System: V2X, Sensor Fusion, and AI Coordination. World J. Advanced Research and Reviews. DOI: 10.30574/wjarr.2025.26.3.2485
• [4] Shanmugam, T. et al. (2024). Integrating Advanced ML, Sensor Fusion, and Control for AV Safety. IEEE ICEI. DOI: 10.1109/ICEI64305.2024.10912173
• [5] Panchal, K. et al. (2025). Sensor Fusion Using ML for Robust Object Detection in Adverse Weather. Int. J. Computational and Experimental Science. DOI: 10.22399/ijcesen.3589

면책 조항: 이 게시물은 정보 제공 목적의 연구 동향 개요이다. 학술 연구에서 인용하기 전에 구체적인 연구 결과, 통계 및 주장은 원본 논문과 대조하여 검증해야 한다.

자율주행차: 센서 융합과 안전 검증 과제

분야: 공학 | 방법론: 계산-실험적

저자: Sean K.S. Shin | 날짜: 2026-03-17

연구 질문

자율주행차(AV)는 무한히 다양한 주행 시나리오에서 실시간으로 인지, 예측, 계획을 수행해야 한다. 단일 센서만으로는 충분하지 않다. 카메라는 풍부한 시각 정보를 제공하지만 어둠과 비 속에서 성능이 저하되고, LiDAR는 정밀한 3D 기하학적 정보를 제공하지만 높은 비용과 제한된 범위라는 단점이 있으며, 레이더는 악천후를 관통하지만 해상도가 낮다. 상호 보완적인 모달리티를 결합하는 센서 융합은 AV 인지의 기술적 근간이다. 그러나 완벽한 융합이 이루어진다 하더라도, 안전성을 어떻게 검증할 수 있는가? 인간 운전자는 약 1억 마일당 한 번꼴로 새로운 위험 상황을 경험한다. AV 시스템이 인간의 안전 수준과 동등하거나 이를 초과한다는 통계적 신뢰도를 확보하기 위한 테스트가 가능한가?

연구 동향

Yang et al. (2025)은 도심 주행 안전을 위해 인지, 예측, 계획을 공동으로 최적화하는 계단식 심층 강화 학습 프레임워크인 CDRP3를 제안하였다. 인지, 예측, 계획이 각 인터페이스에서 정보 손실이 발생하는 별도의 하위 시스템으로 구성된 모듈식 AV 스택과 달리, CDRP3는 각 모듈이 하위 작업을 지원하도록 훈련되는 end-to-end 계단식 구조를 사용한다. 이 접근법은 미지의 객체가 갑작스럽게 나타나는 시나리오에서 안전성을 향상시켰다.

Palladin et al. (2025)은 특정 인지 공백인 장거리 고속도로 주행 문제를 다루었다. 100+ km/h 속도에서의 안전한 운행을 위해서는 250+ 미터의 인지 범위가 필요하며, 이는 도심 주행 연구에서 일반적으로 다루는 50–100 m를 훨씬 초과한다. 이들의 자기지도 희소 센서 융합 접근법은 희소 LiDAR 반사 데이터와 밀집 카메라 특징을 결합하여, 고속도로 시나리오에 특화된 신뢰할 수 있는 장거리 객체 탐지를 달성하였다.

Panchal et al. (2025)은 카메라와 LiDAR의 성능이 현저히 저하되는 안개, 비, 눈 등 악천후에 초점을 맞추었다. 이들의 다중 수준 융합 네트워크는 주의(attention) 기반 특징 융합을 통해 병합되는 모달리티별 백본을 사용하며, 레이더가 악천후 조건에서의 견고성을 제공한다.

Omefe (2025)는 센서 융합을 차량 군집 주행으로 확장하였으며, 이 경우 V2X(vehicle-to-everything) 통신을 통해 차량들이 센서 데이터를 공유함으로써 단일 차량의 센서 범위를 넘어서는 커버리지를 가진 분산 인지 시스템을 효과적으로 구현한다.

주요 주장 및 근거

미해결 과제