AirSim

AirSim.md

AirSim Simulator

Articles

• 2024/10/17 AirSim Vs Gazebo Comparison
• 2024/10/15 Airsim Ubuntu 22.04 Setup Guide
• 2024/10/02 AirSim End-to-End Learning
• 2024/09/30 7 Lessons from AirSim
• 2024/08/29 TartanAir: AirSim simulation dataset for simultaneous localization and mapping (SLAM)
• 2023/12/06 End-to-End Deep learning for Autonomous Driving based on AirSim
• 2023/02/20 ChatGPT for Robotics: Design Principles and Model Abilities
• 2022/12/09 UrbanScene3D: 자율주행차 연구를 위한 의미론적으로 레이블이 지정된 도시경관
• 2022/11/15 Microsoft Project AirSim accelerates autonomous flight with Unreal Engine
• 2022/07/22 Microsoft Unveils Simulator to Train Drones
• 2021/07/30 Airsim Simulation& Drone Competition
• 2021/04/29 Modify AirSim for panorama and fisheye images
• 2020/09/01 Setting up Microsoft AirSim to Simulate a Drone and Car Together

Information

• Microsoft: Aerial Informatics and Robotics Group
• wiki: AirSim
• AirSim - Release v1.8.1
• Cosys-AirSim - Lidar in AirSim
• Swarm Simulation Platform - Colosseum
• PX4 Guide: AirSim Simulation
• Kerloud UAV
• ArduPilot: Using SITL with AirSim
• AeroStack2 - The ROS 2 aerial robotics framework

Projects

• Towards Realistic UAV Vision-Language Navigation: Platform, Benchmark, and Methodology
• VI-WorldSim - A new, user-friendly, fully integrated graphic environment that accelerates vehicle development offline and on Driving Simulators
• U2USim: A UAV Telepresence Simulation Platform with Multi-agent Sensing and Dynamic Environment

Slides

• 2023 Up, Up, and Away: Adventures in Aerial Robotics ⭐

Videos

• KoreaFalcon
• 2024/11/27 미코에어 AIO 픽스호크 드론 자동 비행 (오토 미션)
• 쿼드(QUAD) 드론 연구소
• 2024/09/13 AirSim+MAVROS+PX4-Offboard
• Playlist: Airsim
• 2024/11/24 CesiumForUnrealにAirSimを表示してみました（フェリー、電車、歩行者を追加）
• 2024/11/10 Unreal EngineのCity Park EnvironmentにAirSimを表示してみました(FPV)
• 2024/07/15 [ACM MM 2024 Demo] SimUAVs - A UAV Telepresence Simulation Platform
• 2024/06/18 AirSim - Vertiport Detection Simulation
• 2024/01/07 1st attempt using ChatGPT to control a drone in Airsim
• 2024/01/02 Simulated Drone for Fire detection Using Airsim and unreal engine 5
• 2023/10/23 Gazebo & AirSim를 활용한 PX4 무인이동체 시뮬레이션
• 2023/02/21 ChatGPT + AirSim
• 2022/12/14 UAV Topology Control Airsim Simulation
• 2022/11/13 Autonomous UAVs : Navigation (1/2) Rotational Motion
• 2022/08/10 Building Autonomous Aerial Agents with PX4 and Microsoft AirSim
• 2022/07/18 Introducing Microsoft Project AirSim for aerial autonomy
• 2022/07/18 Microsoft is Accelerating the Future of Aerial Autonomy
• 2021/05/27 Harnessing high-fidelity simulation for autonomous systems through AirSim
• 2018/03/14 AirSim ZhangJiaJie Environment
• 2017/11/17 Reinforcement Learning for Quadrotor Using AirSim

Papers

• 2024 AeroVerse: UAV-Agent Benchmark Suite for Simulating, Pre-training, Finetuning, and Evaluating Aerospace Embodied World Models
• 2024 Large Language Models for UAVs: Current State and Pathways to the Future 🔥
• 2024 Realistic 3D Simulators for Automotive: A Review of Main Applications and Features
• 2024 CiThruS2: Open-source Photorealistic 3D Framework for Driving and Traffic Simulation in Real Time
• 2024 CiThruS2: Open-Source Virtual Environment for Simulating Real-Time Drone Operations and Piloting
• 2024 Shrinking POMCP: A Framework for Real-Time UAV Search and Rescue
• 2024 A study on co-simulation digital twin with MATLAB and AirSim for future advanced air mobility
• 2024 NaviSlim: Adaptive Context-Aware Navigation and Sensing via Dynamic Slimmable Networks
• 2024 Towards Realistic UAV Vision-Language Navigation: Platform, Benchmark, and Methodology
• 2024 E-DQN-Based Path Planning Method for Drones in Airsim Simulator under Unknown Environment
• 2024 Multi-Agent Reinforcement Learning for Autonomous Driving: A Survey
• 2023 Survey of Simulators for Aerial Robots
• 2023 ChatGPT for Robotics: Design Principles and Model Abilities
• 2023 A Comparative Analysis of CARLA and AirSim Simulators: Investigating Implementation Challenges in Autonomous Driving
• 2023 A Digital Twin Mixed-reality System for Testing Future Advanced Air Mobility Concepts: A Prototype
• 2021 VADER: A Hardware and Simulation Platform for Visually Aware Drone Autonomy Research 👍
• 2020 AirSim Drone Racing Lab
• 2018 Exploration of AirSim using C and Rust in the Context of SafetyCritical Systems
• 2018 AirSim-W: A Simulation Environment for Wildlife Conservation with UAVs

Open Source

• https://github.com/microsoft/AirSim - Open source simulator for autonomous vehicles built on Unreal Engine / Unity, from Microsoft AI & Research
• https://github.com/microsoft/PromptCraft-Robotics - Community for applying LLMs to robotics and a robot simulator with ChatGPT integration
• https://github.com/AlexanderRex/airsim_ros2 - Airsim Pack
• https://github.com/microsoft/PromptCraft-Robotics - Community for applying LLMs to robotics and a robot simulator with ChatGPT integration
• https://github.com/microsoft/PromptCraft-Robotics/blob/main/chatgpt_airsim/README.md - ChatGPT-AirSim Interface
• https://github.com/ultravideo/CiThruS2 - A virtual city environment for traffic simulation, drone simulation, computer vision, etc.
• https://github.com/CodexLabsLLC/Colosseum - Colosseum, a successor of AirSim
• https://github.com/Intelligent-Quads/iq_tutorials - Intelligent Quads Tutorials
• https://github.com/cvar-upm/aerostack - Software framework for aerial robotic systems, 4.0
• https://github.com/aerostack/install/wiki - 5.0

자율주행 차량 개발을 위한 시뮬레이터는 매우 중요한 역할을 합니다. 실제 환경에서 테스트하는 것이 위험하거나 비용이 많이 들 수 있기 때문에, 시뮬레이션 환경에서 자율주행 알고리즘을 개발하고 테스트하는 것은 필수적입니다. 다양한 자율주행 차량 시뮬레이터가 존재하며, 각각의 시뮬레이터는 물리적 상호작용, 환경 모델링, 센서 데이터 시뮬레이션 등 여러 측면에서 차별화된 특징을 갖고 있습니다. 대표적인 자율주행 시뮬레이터를 비교 분석해 보겠습니다.

1. CARLA (Car Learning to Act)

• 개요: CARLA는 오픈 소스 자율주행 시뮬레이터로, 자율주행 차량의 인지, 계획, 제어 알고리즘을 테스트할 수 있는 환경을 제공합니다. Unreal Engine을 기반으로 사실적인 환경과 다양한 기후 및 시간 조건을 시뮬레이션할 수 있습니다.
• 특징:
  • 고도로 사실적인 3D 환경 제공.
  • 다양한 날씨, 조명 및 교통 상황 시뮬레이션 가능.
  • 여러 종류의 센서 (LiDAR, 카메라, GPS 등) 지원.
  • 강화학습 및 머신러닝 연구에 적합.
• 장점:
  • 오픈 소스이므로 무료로 사용 가능.
  • 매우 사실적인 물리 엔진과 환경 시뮬레이션 제공.
  • 다양한 자율주행 연구에 널리 사용됨.
• 단점:
  • 고사양 하드웨어 요구.
  • 설정과 사용법이 복잡할 수 있음.

2. LGSVL Simulator

• 개요: LGSVL 시뮬레이터는 자율주행 차량의 개발을 위한 오픈 소스 시뮬레이터로, 3D 환경에서 다양한 자율주행 기능을 테스트할 수 있습니다. 특히 Apollo와 Autoware 같은 자율주행 소프트웨어 스택과 통합됩니다.
• 특징:
  • 현실감 있는 3D 환경 제공.
  • 다양한 센서와 자율주행 스택과의 통합 가능 (Apollo, Autoware).
  • 커뮤니티와의 협력을 통한 새로운 기능 개발 가능.
• 장점:
  • 오픈 소스 및 무료로 사용 가능.
  • 다양한 자율주행 소프트웨어와의 손쉬운 통합.
  • 고도로 확장 가능한 환경.
• 단점:
  • 고성능 하드웨어 요구.
  • 설정이 복잡하고 학습 곡선이 있음.

3. Apollo Dreamview (Baidu Apollo)

• 개요: Apollo Dreamview는 Baidu의 Apollo 자율주행 플랫폼의 시뮬레이션 도구입니다. Apollo는 상업용 자율주행 차량 개발을 위한 통합 솔루션을 제공하며, Dreamview는 그 시뮬레이션 환경으로 사용됩니다.
• 특징:
  • Baidu의 자율주행 스택과 긴밀히 통합.
  • 중국의 다양한 도시 환경 시뮬레이션 가능.
  • 다양한 센서 및 실제 교통 상황을 반영한 시뮬레이션.
• 장점:
  • 상업용 자율주행 차량 개발에 최적화됨.
  • 다양한 실제 데이터를 활용한 테스트 가능.
  • Apollo 스택을 사용하는 자율주행 연구에 적합.
• 단점:
  • Apollo 생태계 내에서만 주로 사용 가능.
  • 제한된 글로벌 환경 시뮬레이션.

4. AirSim

• 개요: Microsoft가 개발한 오픈 소스 시뮬레이터로, 주로 드론 및 자율주행 차량을 위한 사실적인 환경을 제공합니다. Unreal Engine을 기반으로 하며, 매우 사실적인 물리적 및 시각적 환경을 지원합니다.
• 특징:
  • 자율주행 차량과 드론을 위한 고도로 사실적인 환경 제공.
  • 강화학습 및 AI 알고리즘 개발에 적합.
  • 다양한 센서 데이터(LiDAR, 카메라 등) 시뮬레이션 가능.
• 장점:
  • 사실적인 3D 환경 및 물리적 상호작용.
  • 오픈 소스이므로 확장성과 유연성이 높음.
  • AI와 자율주행 연구에 자주 활용됨.
• 단점:
  • 고사양 그래픽 카드를 요구.
  • 자율주행 차량 전용으로 최적화되지 않음.

5. NVIDIA DRIVE Sim

• 개요: NVIDIA DRIVE Sim은 자율주행 차량 개발을 위한 고성능 시뮬레이터로, NVIDIA의 GPU 가속 기술을 사용하여 매우 사실적인 시뮬레이션을 제공합니다. Omniverse 플랫폼에서 제공되며, AI와 자율주행 연구에 최적화되어 있습니다.
• 특징:
  • GPU 가속을 통한 실시간 시뮬레이션.
  • 자율주행 AI 및 소프트웨어 개발에 최적화됨.
  • 다양한 센서와 복잡한 물리적 상호작용 시뮬레이션.
• 장점:
  • 매우 사실적인 환경과 물리적 상호작용 제공.
  • AI 및 강화학습 연구에 적합.
  • 자율주행 산업에서 널리 사용되는 솔루션.
• 단점:
  • 고성능 GPU 필요.
  • 상용 소프트웨어이므로 비용이 발생할 수 있음.

6. PreScan

• 개요: PreScan은 자율주행 차량과 ADAS(Advanced Driver Assistance Systems)를 개발하기 위한 상용 시뮬레이터입니다. 다양한 센서 및 환경 시뮬레이션이 가능하며, MATLAB/Simulink와 통합되어 차량의 제어 시스템을 시뮬레이션할 수 있습니다.
• 특징:
  • ADAS 및 자율주행 시스템 개발에 특화됨.
  • 다양한 센서 및 환경 요소 지원.
  • MATLAB/Simulink와 통합하여 제어 시스템 테스트 가능.
• 장점:
  • 자율주행 및 ADAS 개발에 최적화된 기능 제공.
  • 고급 센서 및 제어 시스템 시뮬레이션 가능.
  • 상업용 프로젝트에 적합.
• 단점:
  • 상용 소프트웨어로 비용 발생.
  • 사용법이 복잡할 수 있으며 학습 곡선이 있음.

요약 비교

시뮬레이터	주요 특징	장점	단점
CARLA	오픈 소스, 사실적 3D 환경	무료 사용, 다양한 자율주행 연구에 적합	고사양 하드웨어 필요, 사용법이 복잡
LGSVL Simulator	오픈 소스, Apollo 및 Autoware 통합	다양한 스택과의 통합, 확장성	고성능 하드웨어 필요, 복잡한 설정
Apollo Dreamview	Baidu의 자율주행 플랫폼	상업용 자율주행에 최적화	Apollo 스택에만 국한됨
AirSim	드론 및 자율주행 차량 지원	사실적 물리 환경, AI 연구에 적합	자율주행 전용 최적화는 아님
NVIDIA DRIVE Sim	GPU 가속, 고성능 자율주행 시뮬레이터	고성능 시뮬레이션, AI 연구에 최적	고사양 GPU 필요, 상용 소프트웨어
PreScan	ADAS 및 자율주행 시스템 개발용 상용 시뮬레이터	ADAS 및 제어 시스템에 특화, Simulink 통합	상용 소프트웨어, 사용법 복잡

결론:

• CARLA와 LGSVL Simulator는 오픈 소스로, 연구 및 개발 목적으로 자율주행 알고리즘을 테스트하는 데 적합한 시뮬레이터입니다.
• NVIDIA DRIVE Sim은 상용 자율주행 차량 개발에 필요한 고성능 기능을 제공하며, AI와 강화학습 연구에도 적합합니다.
• 상업용 프로젝트나 ADAS 개발에는 PreScan과 같은 상용 시뮬레이터가 더 적합할 수 있습니다.

사용 환경과 요구 사항에 따라 적합한 시뮬레이터를 선택하는 것이 중요합니다.

CARLA와 Autoware를 연동하기 위해서는 ROS Bridge라는 시스템을 사용합니다. 이 ROS Bridge는 CARLA에서 시뮬레이션된 데이터를 ROS 메시지 형식으로 변환하여 Autoware가 처리할 수 있도록 하고, 반대로 Autoware에서 처리된 제어 명령을 CARLA의 자율주행 차량에 전달하는 역할을 합니다.

1. CARLA와 Autoware 연동 개요

CARLA는 자율주행 차량 시뮬레이터이고, Autoware는 ROS 기반의 자율주행 소프트웨어 스택입니다. CARLA에서 생성된 시뮬레이션 환경 데이터를 Autoware로 전송하고, Autoware에서 자율주행 알고리즘이 실행된 결과를 다시 CARLA의 차량에 전달함으로써 시뮬레이션된 자율주행이 가능해집니다.

CARLA와 Autoware는 서로 다른 시스템이므로, 이들 간의 통신을 위해 ROS 메시지 형식을 사용하며, CARLA ROS Bridge가 이를 중계합니다.

2. CARLA ROS Bridge의 역할

CARLA ROS Bridge는 다음과 같은 두 가지 주요 기능을 수행합니다:

1.	CARLA → Autoware 데이터 전송: CARLA에서 시뮬레이션된 차량의 상태, 센서 데이터(LiDAR, 카메라, IMU 등)를 ROS 메시지로 변환하여 Autoware로 전송합니다.
2.	Autoware → CARLA 제어 명령 전송: Autoware에서 계산된 제어 명령(속도, 방향, 가속도 등)을 CARLA의 차량에 전달하여 시뮬레이션 환경에서 자율주행을 수행합니다.

3. 메시지 흐름

CARLA와 Autoware 간의 메시지 흐름은 다음과 같습니다:

1.	센서 데이터 전송 (CARLA → Autoware):
•	CARLA에서 센서 데이터(LiDAR, 카메라, GPS, IMU 등)를 수집.
•	ROS Bridge가 이 데이터를 ROS 메시지 형식으로 변환.
•	Autoware에서 해당 센서 데이터를 받아 인식, 계획, 제어 알고리즘을 실행.
2.	제어 명령 전송 (Autoware → CARLA):
•	Autoware에서 차량의 속도, 조향, 브레이크, 가속 등에 대한 제어 명령을 계산.
•	ROS Bridge가 이 명령을 받아 CARLA의 차량 모델에 전달하여 차량이 시뮬레이션 환경에서 이동하도록 함.

4. 구체적인 메시지 유형

   • CARLA → Autoware 메시지:
   • /carla/ego_vehicle/odometry: 차량의 위치 및 속도 정보.
   • /carla/ego_vehicle/vehicle_status: 차량의 상태 정보(연료량, 속도 등).
   • /carla/ego_vehicle/lidar: LiDAR 센서의 포인트 클라우드 데이터.
   • /carla/ego_vehicle/camera/rgb/front: 전방 카메라 이미지 데이터.
   • Autoware → CARLA 메시지:
   • /cmd_vel: 차량의 속도 및 조향 명령(Autoware가 계산한 제어 명령을 ROS 메시지로 전달).
   • /vehicle_cmd: 차량의 종합적인 제어 명령 (속도, 방향, 가속도 등).

5. 동작 과정 예시

   1. CARLA의 차량 시뮬레이션 시작:
      • 시뮬레이션이 시작되면, CARLA는 차량의 위치, 속도, 센서 데이터를 실시간으로 생성.
      • 이러한 데이터를 ROS Bridge가 ROS 메시지로 변환하여 Autoware로 전송.
   2. Autoware에서 자율주행 알고리즘 실행:
      • Autoware는 수신한 차량 상태와 센서 데이터를 사용해 주행 경로를 계획.
      • 주행 경로에 따른 제어 명령(속도, 조향 등)을 계산.
   3. 제어 명령을 CARLA로 전달:
      • Autoware에서 계산된 제어 명령은 ROS Bridge를 통해 CARLA로 전달.
      • CARLA의 시뮬레이션 차량은 Autoware에서 계산된 명령대로 움직임.
   4. 피드백 루프:
      • 차량의 새로운 상태(위치, 속도, 센서 데이터 등)가 다시 Autoware로 전송되어, 다음 제어 주기에서 활용됨.

6. 시스템 아키텍처 그림

   • CARLA와 Autoware 간의 연동을 이해하기 쉽게 설명하기 위해, 간단한 시스템 아키텍처 그림을 제안합니다.

7. CARLA: 센서 데이터 및 차량 상태 데이터를 생성하고, 이를 ROS Bridge에 전달.
   2. ROS Bridge: 데이터를 변환하여 ROS Master를 통해 Autoware로 전달. Autoware의 제어 명령을 다시 CARLA로 전달.
   3. Autoware: 센서 데이터를 받아 주행 경로를 계획하고 제어 명령을 생성하여 ROS Bridge로 전달.

이러한 방식으로 CARLA와 Autoware는 실시간으로 통신하며, 시뮬레이션된 자율주행 환경에서 차량이 제어됩니다.

그림 생성:
이제 이 설명을 바탕으로 CARLA와 Autoware 간의 연동 아키텍처를 이미지로 시각화할 수 있습니다.

위 그림은 CARLA와 Autoware가 ROS Bridge를 통해 통신하는 시스템 아키텍처를 보여줍니다. CARLA에서 생성된 센서 데이터는 ROS Bridge를 통해 ROS 메시지로 변환되어 Autoware로 전달됩니다. Autoware는 이러한 데이터를 바탕으로 주행 경로를 계획하고 제어 명령을 생성하여, 다시 CARLA로 전달해 차량을 제어합니다. 데이터 흐름과 주요 메시지 교환이 화살표로 시각적으로 표현되었습니다.

Vision-Language Model (VLM) 기반 자율주행 기술은 자연어 처리와 컴퓨터 비전 기술을 융합하여 자율주행 시스템을 향상시키는 최신 연구 분야입니다. VLM은 차량이 시각 정보와 텍스트 정보를 결합해 더 정교한 의사결정을 내릴 수 있도록 합니다. 주요 기술 현황을 요약하면 다음과 같습니다.

1.	시각 정보 이해 강화: 기존 자율주행차는 카메라, LiDAR 등으로 시각 데이터를 수집하고 이를 기반으로 주행 환경을 인식합니다. VLM 기술을 활용하면 차량이 텍스트로 된 추가적인 정보(도로 표지판, 경고 표시 등)를 더 잘 이해하고 맥락을 파악할 수 있습니다. 예를 들어, “앞으로 500m에서 좌회전”이라는 정보가 주어지면 시각적 데이터와 결합하여 더 정확한 경로를 선택할 수 있습니다.
2.	상황 인식 및 자연어 상호작용: 자율주행차는 VLM을 통해 자연어로 주어지는 명령이나 설명을 이해하고 이를 기반으로 환경을 해석할 수 있습니다. 이는 특히 승객과 차량 간의 상호작용을 자연스럽게 만들고, 비상 상황에서 음성 명령을 통해 즉각적인 반응을 이끌어낼 수 있는 가능성을 제공합니다.
3.	멀티모달 학습을 통한 성능 향상: VLM 기술은 이미지, 비디오, 텍스트 등 여러 데이터를 동시에 처리하는 멀티모달 학습을 통해 차량의 의사결정 능력을 크게 향상시킵니다. 예를 들어, 차량이 교차로에서 신호등, 도로 표지판, 보행자 등의 정보를 텍스트 설명과 결합하여 더 안전한 주행을 할 수 있습니다.
4.	지식 그래프와 결합: VLM 기술은 지식 그래프와 결합되어 자율주행 차량이 더 많은 배경 지식을 바탕으로 복잡한 도로 상황을 이해할 수 있습니다. 예를 들어, 특정 도로에서의 제한 속도나 위험 구역에 대한 정보가 지식 그래프로 제공되면, VLM은 이를 해석하고 시각적 데이터와 결합하여 주행 결정을 내립니다.
5.	개발 동향: OpenAI, Google, Tesla 등 여러 기술 기업들이 VLM을 자율주행 기술에 접목하기 위한 연구를 진행하고 있으며, 특히 대형 언어 모델과 비전 모델의 융합에 중점을 두고 있습니다. 향후 VLM 기반 자율주행은 더 많은 데이터에 기반한 학습과 실제 도로 상황에서의 테스트를 통해 안전성과 신뢰성을 높이는 방향으로 발전할 것으로 보입니다.

결론적으로, VLM 기반 자율주행 기술은 기존 자율주행 시스템에 비전 및 언어적 맥락을 더해 더욱 직관적이고 안전한 주행 경험을 제공할 수 있는 잠재력을 지니고 있습니다.

자율주행에 사용되는 Vision-Language Model (VLM)들은 자연어 처리와 컴퓨터 비전의 융합을 통해 다양한 자율주행 관련 작업을 수행할 수 있도록 설계되었습니다. 이 기술을 기반으로 자율주행 차량은 주변 환경을 더 잘 이해하고, 텍스트 기반 명령을 해석하며, 시각적 데이터를 효율적으로 처리할 수 있습니다. 자율주행용 VLM으로 사용되는 대표적인 기술들과 오픈소스 버전을 살펴보면 다음과 같습니다.

1. 사용되는 VLM 기술

   • CLIP (Contrastive Language–Image Pre-training): OpenAI에서 개발한 CLIP은 텍스트와 이미지를 동시에 학습할 수 있는 모델로, 자율주행 환경에서 이미지와 텍스트 간의 연관성을 학습하여 도로 표지판 해석, 객체 인식 등에 사용할 수 있습니다. CLIP은 자율주행 차량이 카메라로 보는 장면을 텍스트 설명과 연결하여 의사결정을 강화하는 데 유용합니다.
   • ALIGN (A Large-scale ImaGe and Noisy-text embedding): Google Research에서 개발한 ALIGN은 대규모 이미지-텍스트 데이터를 사용해 훈련된 모델로, 자율주행 차량이 다양한 시각적 데이터를 해석하고 자연어 명령과 연관시키는 데 사용됩니다.
   • FLAVA (A Foundational Language and Vision Alignment Model): Meta AI에서 개발한 FLAVA는 비전과 텍스트를 결합하여 학습할 수 있는 모델로, 멀티모달 데이터를 사용해 더 정교한 상황 인식을 가능하게 합니다. 자율주행 차량은 이러한 모델을 활용해 복잡한 주행 환경을 분석하고, 텍스트 기반의 경로 안내나 경고 정보를 쉽게 처리할 수 있습니다.

2. 오픈소스 VLM 기술

   • OpenAI CLIP: CLIP 모델은 오픈소스로 제공되며, GitHub에서 접근 가능합니다. 다양한 이미지-텍스트 데이터로 학습된 이 모델은 자율주행에 바로 적용할 수는 없지만, 자율주행 시스템에서 이미지와 텍스트 간의 연관성을 분석하는 데 사용할 수 있습니다.
   • GitHub: CLIP GitHub Repository
   • Hugging Face Vision-Language Models: Hugging Face는 여러 오픈소스 비전-언어 모델을 제공합니다. 이를 통해 자율주행 차량의 상황 인식 및 자연어 처리 성능을 향상시킬 수 있습니다.
   • GitHub: Hugging Face Vision-Language Models
   • LXMERT: LXMERT는 비전-언어 프리트레이닝 모델로, 이미지와 텍스트를 동시에 처리할 수 있는 멀티모달 모델입니다. 자율주행 차량이 텍스트 기반 명령을 이해하고 시각적 데이터를 처리하는 데 유용하게 사용될 수 있습니다.
   • GitHub: LXMERT GitHub Repository
   • VILT (Vision-and-Language Transformer): VILT는 비전과 언어를 동시에 이해할 수 있는 트랜스포머 기반 모델로, 자율주행 차량의 시각적 데이터와 언어 데이터를 결합하여 보다 정밀한 상황 인식을 가능하게 합니다.
   • GitHub: VILT GitHub Repository

3. VLM의 자율주행 적용 가능성

오픈소스 VLM 모델들은 자율주행 시스템에 적용할 수 있는 가능성을 가지고 있지만, 바로 도로 상황에 적용되기 위해서는 대규모 주행 데이터와의 추가적인 훈련 및 검증이 필요합니다. 특히 자율주행에 최적화된 멀티모달 모델은 주행 환경과 관련된 시각적 객체, 교통 신호, 도로 표지판 등의 텍스트 데이터를 정확히 이해하고 처리할 수 있어야 합니다.

오픈소스 VLM 모델들은 연구와 프로토타이핑에 유용하며, 이를 통해 자율주행 기술을 발전시키고 실제 주행 환경에서 테스트할 수 있는 기회를 제공하고 있습니다.

CARLA와 같은 자율주행 시뮬레이터와 결합하여 Vision-Language Model (VLM)을 사용하면 자율주행 차량의 시각적 데이터를 텍스트 기반 정보와 함께 처리하는 능력을 강화할 수 있습니다. 이를 통해 다양한 자율주행 시나리오를 더 정교하게 시뮬레이션하고, 차량이 시각 및 텍스트 데이터를 동시에 처리할 수 있는 환경을 구축할 수 있습니다. CARLA와 함께 사용할 수 있는 VLM을 추천하면 다음과 같습니다.

1. CLIP (Contrastive Language–Image Pre-training)

   • 특징: CLIP은 이미지와 텍스트를 결합하여 훈련된 모델로, 주어진 시각적 데이터를 텍스트 설명과 연관 지을 수 있습니다. CARLA의 시뮬레이션 환경에서 생성되는 이미지 데이터를 CLIP으로 처리하면, 차량이 도로 표지판, 신호등 등과 같은 시각적 요소들을 텍스트와 연결해 해석할 수 있습니다.
   • 사용 가능성: CARLA 시뮬레이터에서 생성되는 카메라 데이터를 CLIP에 입력해, 환경 속 객체 인식과 텍스트 기반 주행 정보 해석을 실험할 수 있습니다.
   • 오픈소스: CLIP GitHub

2. VILT (Vision-and-Language Transformer)

   • 특징: VILT는 트랜스포머 기반 비전-언어 모델로, 이미지와 텍스트를 동시에 이해할 수 있습니다. 이 모델은 시각적 정보를 처리하는 속도가 빠르고, CARLA에서 생성된 이미지 데이터와 주행 경로 안내 등의 텍스트 정보를 동시에 분석하는 데 적합합니다.
   • 사용 가능성: CARLA의 다양한 주행 시나리오에서 차량의 시각적 데이터를 분석하고, 텍스트 기반 경고나 지시를 해석하는 데 사용할 수 있습니다.
   • 오픈소스: VILT GitHub

3. LXMERT (Learning Cross-Modality Encoder Representations from Transformers)

   • 특징: LXMERT는 시각적 정보와 텍스트 정보를 동시에 학습할 수 있는 트랜스포머 기반 모델입니다. 이 모델은 특히 자율주행 상황에서 시각적 데이터를 텍스트 정보와 결합해 더 복잡한 상황을 이해하는 데 유리합니다.
   • 사용 가능성: CARLA 시뮬레이터에서 발생하는 시각적 데이터를 분석하고, 자연어로 주어진 지시를 해석하거나 텍스트 기반의 환경 설명을 이해하는 데 사용될 수 있습니다.
   • 오픈소스: LXMERT GitHub

4. ALBEF (Align Before Fuse)

   • 특징: ALBEF는 시각과 언어 데이터를 먼저 정렬(align)한 후 이를 융합하여 처리하는 방식으로 동작하는 VLM입니다. 이 모델은 시각적 환경에 대한 세밀한 이해와 텍스트 지시를 결합할 수 있습니다.
   • 사용 가능성: CARLA에서 생성되는 데이터와 텍스트 명령을 동시에 처리하는 데 적합하며, 특히 주행 경로의 변화나 비상 상황에 대한 언어적 설명을 더 정교하게 이해할 수 있습니다.
   • 오픈소스: ALBEF GitHub

5. Hugging Face Multimodal Models

   • 특징: Hugging Face는 다양한 멀티모달 VLM 모델들을 오픈소스로 제공하며, 시각 정보와 언어 정보를 동시에 처리할 수 있는 모델들이 포함되어 있습니다. 이러한 모델들은 CARLA에서 생성된 시각적 데이터를 텍스트와 결합해 다양한 시나리오에서 사용할 수 있습니다.
   • 사용 가능성: CARLA의 시각적 정보(주행 중 촬영된 영상, 도로 환경 등)와 텍스트 데이터를 결합해 실험적으로 사용 가능하며, 특정 상황에 맞춰 커스터마이즈할 수 있습니다.
   • 오픈소스: Hugging Face Multimodal Models

6. MDETR (Modulated Detection with Transformers)

   • 특징: MDETR는 트랜스포머 기반의 객체 탐지 모델로, 텍스트와 시각적 데이터를 결합하여 특정 명령에 맞춰 객체를 탐지하는 기능을 강화합니다. CARLA 시뮬레이션에서 주행 상황과 연관된 특정 객체(보행자, 차량, 도로 표지판 등)를 텍스트 명령을 통해 탐지할 수 있습니다.
   • 사용 가능성: 특정 시각적 데이터를 텍스트 명령과 결합하여 탐지하거나, CARLA에서 생성된 다양한 시각적 요소들을 효율적으로 탐지하는 데 유리합니다.
   • 오픈소스: MDETR GitHub

결론

CARLA와 함께 사용할 수 있는 VLM 모델들은 대부분 오픈소스이며, 이를 통해 자율주행 환경에서 시각적 데이터와 텍스트 데이터를 동시에 처리할 수 있습니다. 추천한 모델들은 이미지-텍스트 처리 능력이 뛰어나며, 자율주행 시뮬레이션 환경에서 주행 데이터를 분석하거나 텍스트 기반 명령을 해석하는 데 사용할 수 있습니다.