要点(2025-11-05 JST)
- 現在のタブのサイトから /robots.txt と /llms.txt を取得し、中身を日本語で要約表示する Manifest V3 のChrome拡張サンプルを用意しました(そのまま動きます)。
- robots.txt は正式仕様(RFC 9309)で、クローラーへのアクセス方針(Allow/Disallow等)を伝えるもの。セキュリティ対策の代替にはなりません。([RFCエディタ][1])
- llms.txt は Jeremy Howard らの提案で、サイトをLLMが参照・要約しやすいように構造化リンクや説明を載せる“慣行”です(まだ標準ではありません)。Mintlify等が自動生成をサポート。([llms-txt][2])
- OpenAIの GPTBot など主要AIクローラーは robots.txt の指示を読む想定です(例:
User-agent: GPTBot)。([OpenAI Platform][3])