자동차의 주요 핵심 기술에 해당하는 자율주행 자동차는 [1] J3016에서는 자동 주행 시스템(ADS: Automatic Driving System)라고 정의하고 있습니다. 이러한 ADS의 개발 과정에서 과연 테스트를 어느 범위, 어느 깊이로 해야 할지는 중요한 기술적인 이슈이며, 화두입니다.
테스트의 깊이의 문제는 사실 테스트 업계에서 아직도 중요한 이슈이긴 하지만, 커버리지(사양, 모델, 구조 커버리지 등) 기준 등으로 어느 정도 정의가 가능하지만 특히, ADS에서는 테스트의 범위(extent)를 어디까지 수행을 해야 충분한 안전과 성능 및 기능을 보장할 수 있는지는 명확한 기준이 없는 것이 사실입니다.
왜냐하면, 자율주행의 기능에 대해 명확히(clearly) 그리고 명시적으로(explicitly) 정의하기가 어려우며, 어느 누구든 어떤 범위까지 개발을 하면 충분하다고 자신 있게 입증하기 어려운 영역이기도 합니다. 물론, J3016 및 NHTSA에서 Level 3 ~ Level 5로 개념적인 범위의 정의를 하고 있지만, 각 레벨의 기능이 자세하게 어디까지 정의할지 명확한 기준이 없기 때문에, 테스트 또한 범위가 어디까지 확장해야 할지 확신을 할 수가 없습니다.
또한, ADS가 운영되는 주변 환경인 도로의 상태, 교통상황, 날씨, VRU(운전자, 보행자, 모터리스트 등), 인프라 등 다양한 조건 및 변수들의 조합이 무한대로 존재할 수 있고, 상식적으로 생각되지 않는 많은 의외의 케이스(예, Edge case등)들이 존재하기 때문입니다.
특히 많은 연구개발 조직들이 두가지 축에서 “1)테스트 시간(Time)” 및 “2)거리(Distance)”를 통해 해당 테스트 동안 발생하는 고장 또는 사고에 대한 통계를 통해 테스트의 충분성에 대한 의미를 찾고자 합니다. (예, 백만 km에서 사고가 3회 이하 3ppm 등)
- Time : 몇 만시간의 실 주행 시간 및 시뮬레이션 시간
- Distance : 몇 만km의 실 주행, 몇 천만시간의 시뮬레이션 거리
하지만, 당연한 이야기이지만 장시간 및 장거리의 테스트 동안이라도, 수많은 다양한 시나리오가 검증되지 않는다면, 시간과 거리의 축에서 ADS의 안전과 성능 등의 신뢰성을 보장할 수 없습니다.
그래서 ADS는 테스트의 범위(extent)가 매우 중요한 요소가 될 수밖에 없습니다.
하지만, 개발을 하는 엔지니어링 관점에서는 테스트의 범위(extent)를 객관적이고 논리적인 관점에서 테스트 시나리오를 만들고 시험을 수행해야 하며, 그 근거를 제시해야 합니다.
본 글에서는 이러한 테스트 시나리오를 어디까지 정의하고 확장할 지와, 어떤 방법으로 체계화하고 분류하여 접근할지에 대한 방법을 간략하게 서술하고자 합니다.
ADS는 수많은 운영 조건에서 안전한 운전의 임무(Task)를 수행해야 합니다. 그래서 [2] ISO 26262 – Part3에서는 Hazard risk and assessment를 수행 시 운전시의 다양한 Situation Scenario을 입력 값을 활용하고, 요즈음 ADS에서 많이 도입하는 [3] STPA(System Theory Process Approach)는 HA(Hazard Accident) 케이스 즉 사고 시나리오를 활용하여 UCA(Unsafe Control Action) 및 CF(Casual Factor) 분석을 통해 ADS의 안전관련 시나리오를 분석하기도 합니다.
즉 단일 시스템의 고장이나, 조건 외에 “시스템들 또는 시스템들 기능 간의 인터페이스 등의 흐름” 즉 시나리오에 집중하여 분석하여 안전 기능 및 제약사항 등을 도출하는 방식입니다.
그리고, [4] SOTIF(safety of the intended functionality)에서 ADS의 안전성 구현의 확신은 더 자세한 사양과 더 많은 시험을 통해서 그 확신을 가질 수 있다고 기술하고 있습니다. 즉 더 많은 시험을 위해서는 ADS의 다양한 동작 및 환경에 대한 테스트 시나리오가 요구됩니다.
따라서, ADS에서 운영(Operation) 시나리오적인 접근법은 상당한 의미가 있으며, 이러한 시나리오가 ADS의 기능, 안전성, 성능 등의 완전성(Completeness)을 검증하는 방법으로 유용하게 사용될 수 있습니다. 이러한 시나리오는 전문가들의 판단 및 분석이 요구되기도 하지만 전문가들의 판단이 모든 가능한 시나리오의 완전성/충분성(Completeness)을 보증하기는 어렵기 때문에 이러한 근거를 뒤 받쳐줄 방법론이 필요합니다.
즉, ADS의 테스트의 범위에 대한 확신을 가지기 위한 방법으로 테스트 시간 및 테스트 거리 외에, 테스트 시나리오의 범위가 매우 중요하므로 이러한 시나리오의 범위를 규정하는 방법으로 아래와 같은 접근법을 기술하고자 합니다.
테스트 시나리오의 범위를 규정하는 방법으로, Ontology Concept의 개념을 접근하는 것이 좋은 방법 중 하나입니다. Ontology(온톨로지)는 “세상에 대하여 보고 듣고 느끼고 생각하는 것에 대한 서로 간의 합의를 통해 도출된 결과를 개념적이고 컴퓨터에서 다룰 수 있는 형태로 표현한 모델”로 정의할 수 있습니다. Guarino et al [5]에서 Ontology개념은 공식적이고 명시적으로 나타난 사양이라고 정의하여 “즉, 특정 영역이나 세계를 개념으로 정의하고 이러한 개념 간의 관계로 표현한 것이고, 이 표현은 사람이 아닌 컴퓨터가 이해하도록 구현되어야 합니다.”라고 기술하고 있습니다. 또한 이러한 관계는 컴퓨터가 이해하고 추론을 하기 위하여는 애매하지 않고 명백하게 정의해 주어야 합니다. 그래서 ontology라는 개념은 인공지능, 정보검색, 유비쿼터스 컴퓨팅, 전자 상거래 분야 등에 자주 사용되는 개념입니다.
이러한 Ontology를 활용한 ADS의 테스트 시나리오에 대한 연구들 중 의의를 가지는 3가지 방법에 대해 간단하게 정리하면 아래와 같습니다.
1. ADS가 운영되는 “SCENE”을 Bergenhem, R. Johansson[6]는 “Ontology-based process for scene creation”을 아래와 같이 정의하였습니다.
여기서, Ontology를 대표하는 6가지의 구성요소(도로 교통 법규, 자율 주행 시스템의 기능 조합, 가이드라인, 교통신호 체계, 전문가 판단 및 운전 시나리오의 카탈로그 등)를 제안하고, 이러한 구성요소들을 조합하여 다양한 시나리오를 도출할 수 있다고 할 수 있습니다. 특히 Guidelines는 국가, 또는 지방정부의 도로의 규격(고속도로, 일반도로, 보행자 도로 등의 규정 등)을 의미합니다.
이러한 6가지의 조합을 통해 전문가들의 지식기반의 판단을 거친 후, 컴퓨터 모델링을 통해 시나리오를 확장하는 방법입니다.
2. 또 다른 하나는 Schuldt[7]가 제안하고 있는 Layered Model 입니다
L1 도로는 마킹, 형태 등을 포함하는 도로이며, 1에서 제시한 Guidelines과 유사한 개념입니다. 여기서 접근 방법 중 의미 있는 지점은 도로의 각 영역(예, 폭, 굴곡, 넓이, 중앙 가이드 등)을 하나의 parameter로 분류하고 이 값들이 입력 변수로 활용되도록 구성하고 있습니다.
L2 – 교통 인프라로 이러한 부분은 각 나라의 도로 교통 법규 등을 참조해야 합니다.
하지만 예외적인 케이스들을 다 포함할 수 없는 한계를 가질 수 있습니다. (폭우로 인한 도로의 유실, 공사로 인한 갑작스러운 도로의 변화 등)
L3는 L1과 L2를 조합하여 도로의 상황을 만들어 냅니다. L4는 도로와 관련된 장애물, 움직이는 다양한 참여자들 그리고 그들과의 관계를 만들어 낼 수 있습니다. 마지막으로 L5에서는 차량의 운행 중 나타날 수 있는 환경적인 요인(다양한 날씨, 빛의 세기, 소음 등)을 정의합니다. 이러한 방법을 통해 L1에서 L5를 조합하면 다양한 시나리오를 생성할 수 있다. 여기서 한계는 이러한 부분을 다 조합하여 모델링 한다는 것은 거의 불가능하며, 시뮬레이션 뿐만 아니라 실제 테스트를 적용하는 것도 어려움을 가질 수 있습니다.
3. 또 다른 접근법으로는 기존의 다양한 연구, 법규, 실증 사례들을 조합하여 전문가들이 판단하는 방법입니다.
아래와 같이, 다양한 기관의 테스트 시나리오(예, NHTSA), 사고 데이터, 기존의 선행 연구, 자율 주행 시험 실측 및 사고 사례, 기존의 차량의 테스트 시나리오를 분석하여, 전문가들의 판단을 통한 테스트 시나리오를 생성합니다.
그리고 아래 그림과 같이, 관련 테스트시나리오의 변동(Variants)을 결정짓는 파라메터(parameter)를 추출하여 해당 시나리오와 파라메터 모델링을 통해 테스트의 범위를 확장하는 방법입니다.
결론적으로, ADS의 테스트의 시나리오를 정의하는 방법으로, Ontology 개념과 선행 연구 및 실증연구를 기반으로 테스트 시나리오를 확장하는 방법을 소개하였습니다.
현재 다양한 연구 방법이 진행되고 있지만, 전통적인 차량의 테스트 시나리오를 생성하는 방법과 더불어 새로운 방법들이 꾸준히 고안되고 있습니다.
본 기사에서는 다양한 접근법 중 몇 가지를 소개를 통해 테스트의 범위 확장에 대한 기준이 될 수 있는 엔지니어링의 접근 방법으로 제안하였으며, 필요한 경우 시나리오 개발의 방법론으로 적용할 수 있을 것으로 판단됩니다. 하지만 그 외에도 추가적인 연구와 실증을 위해 매우 많은 시간과 노력이 필요한 분야임은 누구도 부인할 수 없는 영역이기도 합니다.
[Abbreviation]
- ADS : Automatic Driving System
- VRU : Vulnerable Road User
- HA : Hazard Accident
- UCA : Unsafe Control Action.
- CF : Casual Factor
- STPA : System Theory Process Approach
- SOTIF : Safety of The Intended Functionality
[Reference]
[1] SAE J3016, Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles: 2018
[2] Road vehicles – Functional safety, ISO 26262: 2018.
[3] A Abdulkhaleq, D Lammering, S Wagner “A Systematic Approach Based on STPA for Developing a Dependable Architecture for Fully Automated Driving Vehicles” – 2017
[4] Road vehicles — Safety of the intended functionality, ISO 21448:2022
[5] N. Guarino, D. Oberle, and S. Staab, “What is an Ontology?” in Handbook on Ontologies, S. Staab and R. Studer, Eds. Berlin, Heidelberg, Germany: Springer Berlin Heidelberg, 2009.
[6] C. Bergenhem, R. Johansson, A. S¨oderberg, J. Nilsson, J. Tryggvesson, M. T¨orngren, and S. Ursing, “How to Reach Complete Safety Requirement Refinement for Autonomous Vehicles,” in CARS 2015-Critical Automotive applications: Robustness & Safety, Paris, France, 2015.
[7] F. Schuldt, “Ein Beitrag f¨ur den methodischen Test von automatisierten Fahrfunktionen mit Hilfe von virtuellen Umgebungen – English title: Towards testing of automated driving functions in virtual driving environments,” Ph.D. dissertation, Technische Universit¨at Braunschweig, Braunschweig, 2017.