- ソースコードの帰属がどうなるかコンテスト開始時に決まっていない
- スコア計算方法、前提条件、入出力がコンテスト開始時に決まっておらず、最後まで明らかになっていなかった
- 当初、推奨環境の情報が大幅に間違っていたため、環境構築の手戻りが発生する参加者が生じた可能性がある
- Q&Aに対応する方のドメイン知識が不足しており、どのような開発が必要になるか、どのくらいの期間が妥当かの見通しが甘い
- Q&Aに対応する方のドメイン知識が不足しており、回答が適切でないケースが多く、何度も問い合わせが発生する
- GitHubリポジトリの内容と公式ページで食い違いがあり、自動車技術会様とティアフォー様の連携が取れていないように見受けられる
- GitHubリポジトリのREADME、スクリプトは十分に検証されないままリリースされている。検証してからリリースしてほしい。
- アップロードのインストラクションが不十分で問い合わせが多数発生しており混乱を招いていた
- 問い合わせがメールベースのため、他の方の問い合わせ内容が可視化されていない
- https://signate.jp/competitions/191 などだとフォーラムで質問でき、他の方の質問がわかるので重複した質問をしなくて済むことと、運営が回答しているか可視化される
- 大会当初、問い合わせ用のメールアドレスが提示されていなかったため、不明点があっても問い合わせできなかった
- 英語ページの情報が日本語版と同等でないことと、Q&Aは日本語のみでの記載であるため、条件がフェアではない
- 採点が始まってから競技ルールが大きく変更されたり、アップロード制限のルールが変わったりと大きな混乱を招いた
- （マシンスペックにもよりますが）LGSVL SimulatorのLiDARシミュレーションが遅いため、遅延が生じてしまい、制御に影響する
- ステア操作も行う必要があるかがルールから読み取れない
- どのように回避をするとスコアとして加算されるか不明（一見回避できていてもスコアが出なかったり、低いケースがある）
- 路駐車両前方のチェックポイントについて情報が不明確
- タスクに関してカメラ設定が妥当でない（望遠カメラにするなどがよさそう）
- マップ上に信号機がある箇所が少なく、バリエーション不足
- タスクへのGNSS活用に関する考慮不足
- waypoint作成に関する情報提示不足
- LGSVL Simulatorの動作要件となるスペックが高すぎるため、参加ハードルが高い
- 自己位置推定が安定するまでの時間がマシンスペックに依存するため、オンライン評価環境と同一条件で検証できない
- 安全に運転することを考えると、急な加減速、急なステア操作ががあれば減点すべきだと思われるが考慮されていなさそうに見受けられる
- オンライン環境で実行する際、ソースコードを変更していなくてもスコアが0点になったり、99点になったりと運要素があるものの、スコアしか表示されないので改善が困難