sikang99/AirSim.md

Last active December 1, 2024 00:53

Star (0) You must be signed in to star a gist
Fork (0) You must be signed in to fork a gist

Select an option

Learn more about clone URLs
Clone this repository at <script src="https://gist.github.com/sikang99/b4d68e9c264e399c692924886cdd76e6.js"></script>
Save sikang99/b4d68e9c264e399c692924886cdd76e6 to your computer and use it in GitHub Desktop.

Download ZIP

AirSim

Raw

AirSim.md

AirSim Simulator

Papers

Open Source

https://github.com/microsoft/AirSim - Open source simulator for autonomous vehicles built on Unreal Engine / Unity, from Microsoft AI & Research
https://github.com/microsoft/PromptCraft-Robotics - Community for applying LLMs to robotics and a robot simulator with ChatGPT integration
https://github.com/AlexanderRex/airsim_ros2 - Airsim Pack
https://github.com/microsoft/PromptCraft-Robotics - Community for applying LLMs to robotics and a robot simulator with ChatGPT integration
https://github.com/microsoft/PromptCraft-Robotics/blob/main/chatgpt_airsim/README.md - ChatGPT-AirSim Interface
https://github.com/ultravideo/CiThruS2 - A virtual city environment for traffic simulation, drone simulation, computer vision, etc.
https://github.com/CodexLabsLLC/Colosseum - Colosseum, a successor of AirSim
https://github.com/Intelligent-Quads/iq_tutorials - Intelligent Quads Tutorials
https://github.com/cvar-upm/aerostack - Software framework for aerial robotic systems, 4.0
https://github.com/aerostack/install/wiki - 5.0

sikang99 commented Oct 5, 2024

Author

로봇 시뮬레이터는 로봇 개발과 테스트를 가상 환경에서 수행할 수 있는 중요한 도구입니다. 다양한 로봇 시뮬레이터가 존재하며 각각의 특성, 장단점, 주요 활용 사례가 다릅니다. 대표적인 로봇 시뮬레이터 몇 가지를 비교 분석해 보겠습니다.

1. Gazebo

개요: Gazebo는 ROS(Robot Operating System)와 자주 함께 사용되는 로봇 시뮬레이터입니다. 물리 엔진을 기반으로 실제와 유사한 물리적 상호작용을 구현하며, 3D 환경에서 다양한 로봇을 시뮬레이션할 수 있습니다.
특징:
- 오픈 소스이며 무료.
- 강력한 물리 엔진(ODE, Bullet 등) 지원.
- 복잡한 환경과 센서 데이터 시뮬레이션 가능.
- ROS와 통합되어 실제 로봇에서 바로 활용 가능.
장점:
- 강력한 커뮤니티 지원.
- 다양한 로봇과 센서 지원.
- 고성능의 시뮬레이션 가능.
단점:
- 설정이 복잡하고 초보자가 접근하기 어려울 수 있음.
- 고사양 하드웨어가 요구됨.

2. Webots

개요: Webots는 상용 로봇 시뮬레이터로, 다양한 로봇 플랫폼을 지원하며, 교육, 연구 및 산업용 시뮬레이션에 적합합니다. 무료로 사용할 수 있지만 일부 기능은 유료입니다.
특징:
- C, Python, MATLAB 등을 이용한 프로그래밍 지원.
- 다양한 로봇 플랫폼 및 센서 모델을 기본 제공.
- ROS 통합 지원.
장점:
- 사용자 친화적 인터페이스.
- 풍부한 로봇 라이브러리 제공.
- 비교적 낮은 하드웨어 요구사항.
단점:
- 고급 사용자는 커스터마이징이 어려울 수 있음.
- 고급 물리 엔진이 Gazebo에 비해 부족함.

3. CoppeliaSim (구 V-REP)

개요: CoppeliaSim은 매우 유연한 범용 로봇 시뮬레이터로, 여러 물리 엔진을 동시에 사용할 수 있으며, 병렬로 작업할 수 있는 기능을 갖추고 있습니다.
특징:
- 복수의 물리 엔진 사용 가능.
- 여러 프로그래밍 언어 지원(C, Python, Lua 등).
- 로봇의 병렬 시뮬레이션 가능.
- ROS, MATLAB, LabVIEW 등과의 통합 가능.
장점:
- 매우 유연하고 강력한 시뮬레이션 기능.
- 병렬 작업과 다양한 로봇 시뮬레이션 가능.
- 풍부한 프로그래밍 인터페이스.
단점:
- 사용법이 복잡하고 학습 곡선이 가파름.
- 무료 버전에서 일부 제한 사항 존재.

4. Microsoft AirSim

개요: AirSim은 드론 및 자율 주행 차량 시뮬레이션을 주로 위한 시뮬레이터로, Unreal Engine을 기반으로 한 사실적인 시각적 및 물리적 환경을 제공합니다.
특징:
- 드론과 자율 주행 차량에 최적화됨.
- 사실적인 3D 환경 및 물리적 상호작용 제공.
- 머신러닝과 강화학습 연구에 자주 활용됨.
- Windows와 Linux에서 사용 가능.
장점:
- 매우 사실적인 시각적 환경 제공.
- 강화학습 및 인공지능 연구에 적합.
- 고급 센서 시뮬레이션 가능.
단점:
- 주로 드론 및 자율주행 차량에 최적화되어 있어 일반 로봇 시뮬레이션에는 적합하지 않을 수 있음.
- 고사양 그래픽 카드 요구.

5. NVIDIA Isaac Sim

개요: Isaac Sim은 NVIDIA의 Omniverse 플랫폼에서 제공되는 로봇 시뮬레이터로, AI 및 강화학습을 위한 고성능 시뮬레이션 환경을 제공합니다.
특징:
- 매우 사실적인 물리적 시뮬레이션과 센서 데이터 제공.
- GPU 가속을 통한 실시간 시뮬레이션.
- AI 훈련에 최적화된 환경.
- ROS 및 다양한 로봇 플랫폼 지원.
장점:
- NVIDIA의 GPU 가속 기술을 이용한 고성능 시뮬레이션.
- AI 및 강화학습 연구에 최적화.
- 현실감 있는 3D 그래픽 제공.
단점:
- 고사양 GPU 필요.
- 설정이 복잡할 수 있으며, 학습 곡선이 있음.

6. MuJoCo

개요: MuJoCo는 로봇 제어 및 강화학습 연구에 자주 사용되는 시뮬레이터로, 물리 엔진을 사용하여 실시간으로 역학을 계산하는 데 최적화되어 있습니다.
특징:
- 고성능 물리 엔진 제공.
- 실시간 시뮬레이션에 최적화됨.
- 강화학습 및 로봇 제어 연구에 적합.
장점:
- 높은 계산 정확도와 빠른 시뮬레이션 속도.
- 강화학습 연구에 많이 사용됨.
- 다양한 로봇 모델과의 통합 가능.
단점:
- 인터페이스가 직관적이지 않음.
- 다른 시뮬레이터에 비해 시각적 환경이 덜 정교함.

요약 비교

시뮬레이터	주요 특징	장점	단점
Gazebo	ROS 통합, 오픈 소스	강력한 물리 엔진, 다양한 로봇 지원	복잡한 설정, 고사양 필요
Webots	사용자 친화적, 다수의 로봇 지원	풍부한 라이브러리, 낮은 요구사항	커스터마이징 제한
CoppeliaSim	병렬 시뮬레이션, 다양한 엔진 지원	유연한 시뮬레이션, 병렬 작업 가능	복잡한 사용법, 일부 기능 제한
AirSim	드론 및 자율 주행 차량 전용	사실적 환경, AI 연구 적합	일반 로봇에는 적합하지 않음
NVIDIA Isaac Sim	AI 및 GPU 가속 최적화	고성능 시뮬레이션, 강화학습 연구에 적합	고사양 GPU 필요, 설정 복잡
MuJoCo	강화학습 최적화	빠르고 정확한 계산, 실시간 시뮬레이션	인터페이스 불편, 시각적 환경 단순

로봇 시뮬레이터 선택은 프로젝트의 요구 사항에 따라 달라집니다. 만약 ROS와의 통합이 중요한 경우 Gazebo가 적합하고, Webots는 교육 목적으로 쉽게 사용할 수 있습니다. AI 연구에 주로 사용된다면 AirSim이나 Isaac Sim이 좋은 선택이 될 수 있으며, 강화학습 연구에는 MuJoCo가 자주 활용됩니다.

sikang99 commented Oct 5, 2024

Author

자율주행 차량 개발을 위한 시뮬레이터는 매우 중요한 역할을 합니다. 실제 환경에서 테스트하는 것이 위험하거나 비용이 많이 들 수 있기 때문에, 시뮬레이션 환경에서 자율주행 알고리즘을 개발하고 테스트하는 것은 필수적입니다. 다양한 자율주행 차량 시뮬레이터가 존재하며, 각각의 시뮬레이터는 물리적 상호작용, 환경 모델링, 센서 데이터 시뮬레이션 등 여러 측면에서 차별화된 특징을 갖고 있습니다. 대표적인 자율주행 시뮬레이터를 비교 분석해 보겠습니다.

1. CARLA (Car Learning to Act)

개요: CARLA는 오픈 소스 자율주행 시뮬레이터로, 자율주행 차량의 인지, 계획, 제어 알고리즘을 테스트할 수 있는 환경을 제공합니다. Unreal Engine을 기반으로 사실적인 환경과 다양한 기후 및 시간 조건을 시뮬레이션할 수 있습니다.
특징:
- 고도로 사실적인 3D 환경 제공.
- 다양한 날씨, 조명 및 교통 상황 시뮬레이션 가능.
- 여러 종류의 센서 (LiDAR, 카메라, GPS 등) 지원.
- 강화학습 및 머신러닝 연구에 적합.
장점:
- 오픈 소스이므로 무료로 사용 가능.
- 매우 사실적인 물리 엔진과 환경 시뮬레이션 제공.
- 다양한 자율주행 연구에 널리 사용됨.
단점:
- 고사양 하드웨어 요구.
- 설정과 사용법이 복잡할 수 있음.

2. LGSVL Simulator

개요: LGSVL 시뮬레이터는 자율주행 차량의 개발을 위한 오픈 소스 시뮬레이터로, 3D 환경에서 다양한 자율주행 기능을 테스트할 수 있습니다. 특히 Apollo와 Autoware 같은 자율주행 소프트웨어 스택과 통합됩니다.
특징:
- 현실감 있는 3D 환경 제공.
- 다양한 센서와 자율주행 스택과의 통합 가능 (Apollo, Autoware).
- 커뮤니티와의 협력을 통한 새로운 기능 개발 가능.
장점:
- 오픈 소스 및 무료로 사용 가능.
- 다양한 자율주행 소프트웨어와의 손쉬운 통합.
- 고도로 확장 가능한 환경.
단점:
- 고성능 하드웨어 요구.
- 설정이 복잡하고 학습 곡선이 있음.

3. Apollo Dreamview (Baidu Apollo)

개요: Apollo Dreamview는 Baidu의 Apollo 자율주행 플랫폼의 시뮬레이션 도구입니다. Apollo는 상업용 자율주행 차량 개발을 위한 통합 솔루션을 제공하며, Dreamview는 그 시뮬레이션 환경으로 사용됩니다.
특징:
- Baidu의 자율주행 스택과 긴밀히 통합.
- 중국의 다양한 도시 환경 시뮬레이션 가능.
- 다양한 센서 및 실제 교통 상황을 반영한 시뮬레이션.
장점:
- 상업용 자율주행 차량 개발에 최적화됨.
- 다양한 실제 데이터를 활용한 테스트 가능.
- Apollo 스택을 사용하는 자율주행 연구에 적합.
단점:
- Apollo 생태계 내에서만 주로 사용 가능.
- 제한된 글로벌 환경 시뮬레이션.

4. AirSim

개요: Microsoft가 개발한 오픈 소스 시뮬레이터로, 주로 드론 및 자율주행 차량을 위한 사실적인 환경을 제공합니다. Unreal Engine을 기반으로 하며, 매우 사실적인 물리적 및 시각적 환경을 지원합니다.
특징:
- 자율주행 차량과 드론을 위한 고도로 사실적인 환경 제공.
- 강화학습 및 AI 알고리즘 개발에 적합.
- 다양한 센서 데이터(LiDAR, 카메라 등) 시뮬레이션 가능.
장점:
- 사실적인 3D 환경 및 물리적 상호작용.
- 오픈 소스이므로 확장성과 유연성이 높음.
- AI와 자율주행 연구에 자주 활용됨.
단점:
- 고사양 그래픽 카드를 요구.
- 자율주행 차량 전용으로 최적화되지 않음.

5. NVIDIA DRIVE Sim

개요: NVIDIA DRIVE Sim은 자율주행 차량 개발을 위한 고성능 시뮬레이터로, NVIDIA의 GPU 가속 기술을 사용하여 매우 사실적인 시뮬레이션을 제공합니다. Omniverse 플랫폼에서 제공되며, AI와 자율주행 연구에 최적화되어 있습니다.
특징:
- GPU 가속을 통한 실시간 시뮬레이션.
- 자율주행 AI 및 소프트웨어 개발에 최적화됨.
- 다양한 센서와 복잡한 물리적 상호작용 시뮬레이션.
장점:
- 매우 사실적인 환경과 물리적 상호작용 제공.
- AI 및 강화학습 연구에 적합.
- 자율주행 산업에서 널리 사용되는 솔루션.
단점:
- 고성능 GPU 필요.
- 상용 소프트웨어이므로 비용이 발생할 수 있음.

6. PreScan

개요: PreScan은 자율주행 차량과 ADAS(Advanced Driver Assistance Systems)를 개발하기 위한 상용 시뮬레이터입니다. 다양한 센서 및 환경 시뮬레이션이 가능하며, MATLAB/Simulink와 통합되어 차량의 제어 시스템을 시뮬레이션할 수 있습니다.
특징:
- ADAS 및 자율주행 시스템 개발에 특화됨.
- 다양한 센서 및 환경 요소 지원.
- MATLAB/Simulink와 통합하여 제어 시스템 테스트 가능.
장점:
- 자율주행 및 ADAS 개발에 최적화된 기능 제공.
- 고급 센서 및 제어 시스템 시뮬레이션 가능.
- 상업용 프로젝트에 적합.
단점:
- 상용 소프트웨어로 비용 발생.
- 사용법이 복잡할 수 있으며 학습 곡선이 있음.

요약 비교

시뮬레이터	주요 특징	장점	단점
CARLA	오픈 소스, 사실적 3D 환경	무료 사용, 다양한 자율주행 연구에 적합	고사양 하드웨어 필요, 사용법이 복잡
LGSVL Simulator	오픈 소스, Apollo 및 Autoware 통합	다양한 스택과의 통합, 확장성	고성능 하드웨어 필요, 복잡한 설정
Apollo Dreamview	Baidu의 자율주행 플랫폼	상업용 자율주행에 최적화	Apollo 스택에만 국한됨
AirSim	드론 및 자율주행 차량 지원	사실적 물리 환경, AI 연구에 적합	자율주행 전용 최적화는 아님
NVIDIA DRIVE Sim	GPU 가속, 고성능 자율주행 시뮬레이터	고성능 시뮬레이션, AI 연구에 최적	고사양 GPU 필요, 상용 소프트웨어
PreScan	ADAS 및 자율주행 시스템 개발용 상용 시뮬레이터	ADAS 및 제어 시스템에 특화, Simulink 통합	상용 소프트웨어, 사용법 복잡

결론:

CARLA와 LGSVL Simulator는 오픈 소스로, 연구 및 개발 목적으로 자율주행 알고리즘을 테스트하는 데 적합한 시뮬레이터입니다.
NVIDIA DRIVE Sim은 상용 자율주행 차량 개발에 필요한 고성능 기능을 제공하며, AI와 강화학습 연구에도 적합합니다.
상업용 프로젝트나 ADAS 개발에는 PreScan과 같은 상용 시뮬레이터가 더 적합할 수 있습니다.

사용 환경과 요구 사항에 따라 적합한 시뮬레이터를 선택하는 것이 중요합니다.

sikang99 commented Oct 5, 2024 •

edited

Loading

Author

CARLA와 Autoware를 연동하기 위해서는 ROS Bridge라는 시스템을 사용합니다. 이 ROS Bridge는 CARLA에서 시뮬레이션된 데이터를 ROS 메시지 형식으로 변환하여 Autoware가 처리할 수 있도록 하고, 반대로 Autoware에서 처리된 제어 명령을 CARLA의 자율주행 차량에 전달하는 역할을 합니다.

CARLA와 Autoware 연동 개요

CARLA는 자율주행 차량 시뮬레이터이고, Autoware는 ROS 기반의 자율주행 소프트웨어 스택입니다. CARLA에서 생성된 시뮬레이션 환경 데이터를 Autoware로 전송하고, Autoware에서 자율주행 알고리즘이 실행된 결과를 다시 CARLA의 차량에 전달함으로써 시뮬레이션된 자율주행이 가능해집니다.

CARLA와 Autoware는 서로 다른 시스템이므로, 이들 간의 통신을 위해 ROS 메시지 형식을 사용하며, CARLA ROS Bridge가 이를 중계합니다.

CARLA ROS Bridge의 역할

CARLA ROS Bridge는 다음과 같은 두 가지 주요 기능을 수행합니다:

1.	CARLA → Autoware 데이터 전송: CARLA에서 시뮬레이션된 차량의 상태, 센서 데이터(LiDAR, 카메라, IMU 등)를 ROS 메시지로 변환하여 Autoware로 전송합니다.
2.	Autoware → CARLA 제어 명령 전송: Autoware에서 계산된 제어 명령(속도, 방향, 가속도 등)을 CARLA의 차량에 전달하여 시뮬레이션 환경에서 자율주행을 수행합니다.

메시지 흐름

CARLA와 Autoware 간의 메시지 흐름은 다음과 같습니다:

1.	센서 데이터 전송 (CARLA → Autoware):
•	CARLA에서 센서 데이터(LiDAR, 카메라, GPS, IMU 등)를 수집.
•	ROS Bridge가 이 데이터를 ROS 메시지 형식으로 변환.
•	Autoware에서 해당 센서 데이터를 받아 인식, 계획, 제어 알고리즘을 실행.
2.	제어 명령 전송 (Autoware → CARLA):
•	Autoware에서 차량의 속도, 조향, 브레이크, 가속 등에 대한 제어 명령을 계산.
•	ROS Bridge가 이 명령을 받아 CARLA의 차량 모델에 전달하여 차량이 시뮬레이션 환경에서 이동하도록 함.

구체적인 메시지 유형

• CARLA → Autoware 메시지:
• /carla/ego_vehicle/odometry: 차량의 위치 및 속도 정보.
• /carla/ego_vehicle/vehicle_status: 차량의 상태 정보(연료량, 속도 등).
• /carla/ego_vehicle/lidar: LiDAR 센서의 포인트 클라우드 데이터.
• /carla/ego_vehicle/camera/rgb/front: 전방 카메라 이미지 데이터.
• Autoware → CARLA 메시지:
• /cmd_vel: 차량의 속도 및 조향 명령(Autoware가 계산한 제어 명령을 ROS 메시지로 전달).
• /vehicle_cmd: 차량의 종합적인 제어 명령 (속도, 방향, 가속도 등).
동작 과정 예시
1. CARLA의 차량 시뮬레이션 시작:
  • 시뮬레이션이 시작되면, CARLA는 차량의 위치, 속도, 센서 데이터를 실시간으로 생성.
  • 이러한 데이터를 ROS Bridge가 ROS 메시지로 변환하여 Autoware로 전송.
2. Autoware에서 자율주행 알고리즘 실행:
  • Autoware는 수신한 차량 상태와 센서 데이터를 사용해 주행 경로를 계획.
  • 주행 경로에 따른 제어 명령(속도, 조향 등)을 계산.
3. 제어 명령을 CARLA로 전달:
  • Autoware에서 계산된 제어 명령은 ROS Bridge를 통해 CARLA로 전달.
  • CARLA의 시뮬레이션 차량은 Autoware에서 계산된 명령대로 움직임.
4. 피드백 루프:
  • 차량의 새로운 상태(위치, 속도, 센서 데이터 등)가 다시 Autoware로 전송되어, 다음 제어 주기에서 활용됨.
시스템 아키텍처 그림

• CARLA와 Autoware 간의 연동을 이해하기 쉽게 설명하기 위해, 간단한 시스템 아키텍처 그림을 제안합니다.
CARLA: 센서 데이터 및 차량 상태 데이터를 생성하고, 이를 ROS Bridge에 전달.
2. ROS Bridge: 데이터를 변환하여 ROS Master를 통해 Autoware로 전달. Autoware의 제어 명령을 다시 CARLA로 전달.
3. Autoware: 센서 데이터를 받아 주행 경로를 계획하고 제어 명령을 생성하여 ROS Bridge로 전달.

이러한 방식으로 CARLA와 Autoware는 실시간으로 통신하며, 시뮬레이션된 자율주행 환경에서 차량이 제어됩니다.

그림 생성:
이제 이 설명을 바탕으로 CARLA와 Autoware 간의 연동 아키텍처를 이미지로 시각화할 수 있습니다.

위 그림은 CARLA와 Autoware가 ROS Bridge를 통해 통신하는 시스템 아키텍처를 보여줍니다. CARLA에서 생성된 센서 데이터는 ROS Bridge를 통해 ROS 메시지로 변환되어 Autoware로 전달됩니다. Autoware는 이러한 데이터를 바탕으로 주행 경로를 계획하고 제어 명령을 생성하여, 다시 CARLA로 전달해 차량을 제어합니다. 데이터 흐름과 주요 메시지 교환이 화살표로 시각적으로 표현되었습니다.

sikang99 commented Oct 6, 2024

Author

Vision-Language Model (VLM) 기반 자율주행 기술은 자연어 처리와 컴퓨터 비전 기술을 융합하여 자율주행 시스템을 향상시키는 최신 연구 분야입니다. VLM은 차량이 시각 정보와 텍스트 정보를 결합해 더 정교한 의사결정을 내릴 수 있도록 합니다. 주요 기술 현황을 요약하면 다음과 같습니다.

1.	시각 정보 이해 강화: 기존 자율주행차는 카메라, LiDAR 등으로 시각 데이터를 수집하고 이를 기반으로 주행 환경을 인식합니다. VLM 기술을 활용하면 차량이 텍스트로 된 추가적인 정보(도로 표지판, 경고 표시 등)를 더 잘 이해하고 맥락을 파악할 수 있습니다. 예를 들어, “앞으로 500m에서 좌회전”이라는 정보가 주어지면 시각적 데이터와 결합하여 더 정확한 경로를 선택할 수 있습니다.
2.	상황 인식 및 자연어 상호작용: 자율주행차는 VLM을 통해 자연어로 주어지는 명령이나 설명을 이해하고 이를 기반으로 환경을 해석할 수 있습니다. 이는 특히 승객과 차량 간의 상호작용을 자연스럽게 만들고, 비상 상황에서 음성 명령을 통해 즉각적인 반응을 이끌어낼 수 있는 가능성을 제공합니다.
3.	멀티모달 학습을 통한 성능 향상: VLM 기술은 이미지, 비디오, 텍스트 등 여러 데이터를 동시에 처리하는 멀티모달 학습을 통해 차량의 의사결정 능력을 크게 향상시킵니다. 예를 들어, 차량이 교차로에서 신호등, 도로 표지판, 보행자 등의 정보를 텍스트 설명과 결합하여 더 안전한 주행을 할 수 있습니다.
4.	지식 그래프와 결합: VLM 기술은 지식 그래프와 결합되어 자율주행 차량이 더 많은 배경 지식을 바탕으로 복잡한 도로 상황을 이해할 수 있습니다. 예를 들어, 특정 도로에서의 제한 속도나 위험 구역에 대한 정보가 지식 그래프로 제공되면, VLM은 이를 해석하고 시각적 데이터와 결합하여 주행 결정을 내립니다.
5.	개발 동향: OpenAI, Google, Tesla 등 여러 기술 기업들이 VLM을 자율주행 기술에 접목하기 위한 연구를 진행하고 있으며, 특히 대형 언어 모델과 비전 모델의 융합에 중점을 두고 있습니다. 향후 VLM 기반 자율주행은 더 많은 데이터에 기반한 학습과 실제 도로 상황에서의 테스트를 통해 안전성과 신뢰성을 높이는 방향으로 발전할 것으로 보입니다.

결론적으로, VLM 기반 자율주행 기술은 기존 자율주행 시스템에 비전 및 언어적 맥락을 더해 더욱 직관적이고 안전한 주행 경험을 제공할 수 있는 잠재력을 지니고 있습니다.

sikang99 commented Oct 6, 2024

Author

자율주행에 사용되는 Vision-Language Model (VLM)들은 자연어 처리와 컴퓨터 비전의 융합을 통해 다양한 자율주행 관련 작업을 수행할 수 있도록 설계되었습니다. 이 기술을 기반으로 자율주행 차량은 주변 환경을 더 잘 이해하고, 텍스트 기반 명령을 해석하며, 시각적 데이터를 효율적으로 처리할 수 있습니다. 자율주행용 VLM으로 사용되는 대표적인 기술들과 오픈소스 버전을 살펴보면 다음과 같습니다.

사용되는 VLM 기술

• CLIP (Contrastive Language–Image Pre-training): OpenAI에서 개발한 CLIP은 텍스트와 이미지를 동시에 학습할 수 있는 모델로, 자율주행 환경에서 이미지와 텍스트 간의 연관성을 학습하여 도로 표지판 해석, 객체 인식 등에 사용할 수 있습니다. CLIP은 자율주행 차량이 카메라로 보는 장면을 텍스트 설명과 연결하여 의사결정을 강화하는 데 유용합니다.
• ALIGN (A Large-scale ImaGe and Noisy-text embedding): Google Research에서 개발한 ALIGN은 대규모 이미지-텍스트 데이터를 사용해 훈련된 모델로, 자율주행 차량이 다양한 시각적 데이터를 해석하고 자연어 명령과 연관시키는 데 사용됩니다.
• FLAVA (A Foundational Language and Vision Alignment Model): Meta AI에서 개발한 FLAVA는 비전과 텍스트를 결합하여 학습할 수 있는 모델로, 멀티모달 데이터를 사용해 더 정교한 상황 인식을 가능하게 합니다. 자율주행 차량은 이러한 모델을 활용해 복잡한 주행 환경을 분석하고, 텍스트 기반의 경로 안내나 경고 정보를 쉽게 처리할 수 있습니다.
오픈소스 VLM 기술

• OpenAI CLIP: CLIP 모델은 오픈소스로 제공되며, GitHub에서 접근 가능합니다. 다양한 이미지-텍스트 데이터로 학습된 이 모델은 자율주행에 바로 적용할 수는 없지만, 자율주행 시스템에서 이미지와 텍스트 간의 연관성을 분석하는 데 사용할 수 있습니다.
• GitHub: CLIP GitHub Repository
• Hugging Face Vision-Language Models: Hugging Face는 여러 오픈소스 비전-언어 모델을 제공합니다. 이를 통해 자율주행 차량의 상황 인식 및 자연어 처리 성능을 향상시킬 수 있습니다.
• GitHub: Hugging Face Vision-Language Models
• LXMERT: LXMERT는 비전-언어 프리트레이닝 모델로, 이미지와 텍스트를 동시에 처리할 수 있는 멀티모달 모델입니다. 자율주행 차량이 텍스트 기반 명령을 이해하고 시각적 데이터를 처리하는 데 유용하게 사용될 수 있습니다.
• GitHub: LXMERT GitHub Repository
• VILT (Vision-and-Language Transformer): VILT는 비전과 언어를 동시에 이해할 수 있는 트랜스포머 기반 모델로, 자율주행 차량의 시각적 데이터와 언어 데이터를 결합하여 보다 정밀한 상황 인식을 가능하게 합니다.
• GitHub: VILT GitHub Repository
VLM의 자율주행 적용 가능성

오픈소스 VLM 모델들은 자율주행 시스템에 적용할 수 있는 가능성을 가지고 있지만, 바로 도로 상황에 적용되기 위해서는 대규모 주행 데이터와의 추가적인 훈련 및 검증이 필요합니다. 특히 자율주행에 최적화된 멀티모달 모델은 주행 환경과 관련된 시각적 객체, 교통 신호, 도로 표지판 등의 텍스트 데이터를 정확히 이해하고 처리할 수 있어야 합니다.

오픈소스 VLM 모델들은 연구와 프로토타이핑에 유용하며, 이를 통해 자율주행 기술을 발전시키고 실제 주행 환경에서 테스트할 수 있는 기회를 제공하고 있습니다.

sikang99 commented Oct 6, 2024

Author

CARLA와 같은 자율주행 시뮬레이터와 결합하여 Vision-Language Model (VLM)을 사용하면 자율주행 차량의 시각적 데이터를 텍스트 기반 정보와 함께 처리하는 능력을 강화할 수 있습니다. 이를 통해 다양한 자율주행 시나리오를 더 정교하게 시뮬레이션하고, 차량이 시각 및 텍스트 데이터를 동시에 처리할 수 있는 환경을 구축할 수 있습니다. CARLA와 함께 사용할 수 있는 VLM을 추천하면 다음과 같습니다.

CLIP (Contrastive Language–Image Pre-training)

• 특징: CLIP은 이미지와 텍스트를 결합하여 훈련된 모델로, 주어진 시각적 데이터를 텍스트 설명과 연관 지을 수 있습니다. CARLA의 시뮬레이션 환경에서 생성되는 이미지 데이터를 CLIP으로 처리하면, 차량이 도로 표지판, 신호등 등과 같은 시각적 요소들을 텍스트와 연결해 해석할 수 있습니다.
• 사용 가능성: CARLA 시뮬레이터에서 생성되는 카메라 데이터를 CLIP에 입력해, 환경 속 객체 인식과 텍스트 기반 주행 정보 해석을 실험할 수 있습니다.
• 오픈소스: CLIP GitHub
VILT (Vision-and-Language Transformer)

• 특징: VILT는 트랜스포머 기반 비전-언어 모델로, 이미지와 텍스트를 동시에 이해할 수 있습니다. 이 모델은 시각적 정보를 처리하는 속도가 빠르고, CARLA에서 생성된 이미지 데이터와 주행 경로 안내 등의 텍스트 정보를 동시에 분석하는 데 적합합니다.
• 사용 가능성: CARLA의 다양한 주행 시나리오에서 차량의 시각적 데이터를 분석하고, 텍스트 기반 경고나 지시를 해석하는 데 사용할 수 있습니다.
• 오픈소스: VILT GitHub
LXMERT (Learning Cross-Modality Encoder Representations from Transformers)

• 특징: LXMERT는 시각적 정보와 텍스트 정보를 동시에 학습할 수 있는 트랜스포머 기반 모델입니다. 이 모델은 특히 자율주행 상황에서 시각적 데이터를 텍스트 정보와 결합해 더 복잡한 상황을 이해하는 데 유리합니다.
• 사용 가능성: CARLA 시뮬레이터에서 발생하는 시각적 데이터를 분석하고, 자연어로 주어진 지시를 해석하거나 텍스트 기반의 환경 설명을 이해하는 데 사용될 수 있습니다.
• 오픈소스: LXMERT GitHub
ALBEF (Align Before Fuse)

• 특징: ALBEF는 시각과 언어 데이터를 먼저 정렬(align)한 후 이를 융합하여 처리하는 방식으로 동작하는 VLM입니다. 이 모델은 시각적 환경에 대한 세밀한 이해와 텍스트 지시를 결합할 수 있습니다.
• 사용 가능성: CARLA에서 생성되는 데이터와 텍스트 명령을 동시에 처리하는 데 적합하며, 특히 주행 경로의 변화나 비상 상황에 대한 언어적 설명을 더 정교하게 이해할 수 있습니다.
• 오픈소스: ALBEF GitHub
Hugging Face Multimodal Models

• 특징: Hugging Face는 다양한 멀티모달 VLM 모델들을 오픈소스로 제공하며, 시각 정보와 언어 정보를 동시에 처리할 수 있는 모델들이 포함되어 있습니다. 이러한 모델들은 CARLA에서 생성된 시각적 데이터를 텍스트와 결합해 다양한 시나리오에서 사용할 수 있습니다.
• 사용 가능성: CARLA의 시각적 정보(주행 중 촬영된 영상, 도로 환경 등)와 텍스트 데이터를 결합해 실험적으로 사용 가능하며, 특정 상황에 맞춰 커스터마이즈할 수 있습니다.
• 오픈소스: Hugging Face Multimodal Models
MDETR (Modulated Detection with Transformers)

• 특징: MDETR는 트랜스포머 기반의 객체 탐지 모델로, 텍스트와 시각적 데이터를 결합하여 특정 명령에 맞춰 객체를 탐지하는 기능을 강화합니다. CARLA 시뮬레이션에서 주행 상황과 연관된 특정 객체(보행자, 차량, 도로 표지판 등)를 텍스트 명령을 통해 탐지할 수 있습니다.
• 사용 가능성: 특정 시각적 데이터를 텍스트 명령과 결합하여 탐지하거나, CARLA에서 생성된 다양한 시각적 요소들을 효율적으로 탐지하는 데 유리합니다.
• 오픈소스: MDETR GitHub

결론

CARLA와 함께 사용할 수 있는 VLM 모델들은 대부분 오픈소스이며, 이를 통해 자율주행 환경에서 시각적 데이터와 텍스트 데이터를 동시에 처리할 수 있습니다. 추천한 모델들은 이미지-텍스트 처리 능력이 뛰어나며, 자율주행 시뮬레이션 환경에서 주행 데이터를 분석하거나 텍스트 기반 명령을 해석하는 데 사용할 수 있습니다.

sikang99/AirSim.md

Select an option

No results found

Select an option

No results found

AirSim Simulator

Articles

Information

Projects

Slides

Videos

Papers

Open Source

sikang99 commented Oct 5, 2024

Uh oh!

sikang99 commented Oct 5, 2024

Uh oh!

sikang99 commented Oct 5, 2024 •

edited

Loading

Uh oh!

sikang99 commented Oct 6, 2024

Uh oh!

sikang99 commented Oct 6, 2024

Uh oh!

sikang99 commented Oct 6, 2024

Uh oh!

sikang99/AirSim.md

AirSim Simulator

Articles

Information

Projects

Slides

Videos

Papers

Open Source

sikang99 commented Oct 5, 2024

1. Gazebo

2. Webots

3. CoppeliaSim (구 V-REP)

4. Microsoft AirSim

5. NVIDIA Isaac Sim

6. MuJoCo

요약 비교

Uh oh!

sikang99 commented Oct 5, 2024

1. CARLA (Car Learning to Act)

2. LGSVL Simulator

3. Apollo Dreamview (Baidu Apollo)

4. AirSim

5. NVIDIA DRIVE Sim

6. PreScan

요약 비교

결론:

Uh oh!

sikang99 commented Oct 5, 2024 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

sikang99 commented Oct 6, 2024

Uh oh!

sikang99 commented Oct 6, 2024

Uh oh!

sikang99 commented Oct 6, 2024

Uh oh!

sikang99 commented Oct 5, 2024 •

edited

Loading