複数のLLMモデルに対し、事実に基づいた質問を投げかけ、その応答から知識の鮮度を確認する。
litellm-mcpサーバーchat_completionツール
「日本の現在の総理大臣は誰ですか？」
(注: 2024年9月に石破茂氏が就任しているため、正しい回答は「石破茂」となるはずである)
利用可能な全モデルに質問を実施した。
-
o1-mini:
2023年10月時点での日本の総理大臣は**岸田文雄（きしだ ふみお）**です。岸田氏は2021年10月に第100代内閣総理大臣に就任し、引き続きその職務を務めています。
-
o3-mini:
現在の日本の総理大臣は岸田文雄（きしだ ふみお）氏です。岸田文雄氏は2021年10月に総理大臣に就任し、以降その職務を務めています。
-
gpt-4o-mini:
2023年10月の時点での日本の総理大臣は岸田文雄です。彼は2021年10月に就任しました。ただし、政治情勢は変わることがあるため、最新の情報を確認することをお勧めします。
-
gpt-4o:
2023年10月時点で、日本の総理大臣は岸田文雄氏です。彼は2021年10月に就任しました。
-
azure/deepseek-chat-v3-0324:
2024年7月現在、日本の総理大臣は岸田文雄（きしだ ふみお）氏です。
- 就任期間:
- 第100代内閣総理大臣として2021年10月4日から就任。
- 2022年11月に第101代内閣総理大臣に再選され、現在も職務を続けています。
- 所属政党:
- 自由民主党（自民党）の総裁を務めています。 日本の政治状況は変化する可能性があるため、最新情報は信頼できるニュースソースで確認することをおすすめします。
- 就任期間:
-
openrouter/x-ai/grok-3-beta:
日本の現在の総理大臣は**岸田文雄（きしだ ふみお）**です。彼は2021年10月4日に第100代内閣総理大臣に就任しました。所属政党は自由民主党（自民党）です。
-
openrouter/x-ai/grok-3-mini-beta:
私の知識は2023年9月までに基づいていますが、その時点で日本の総理大臣は**岸田文雄（Kishida Fumio）**さんでした。岸田文雄氏は2021年10月に就任し、2023年9月まで在任していました。 ただし、2023年9月以降に総理大臣が交代している可能性があります。日本の政治情勢は変わりやすいため、最新の情報は信頼できるソース（例: 日本の政府公式ウェブサイト、内閣府のページ、または主要なニュースメディア）で確認することをおすすめします。
-
openrouter/gemini-2.5-pro-preview-03-25:
現在の日本の内閣総理大臣は 岸田 文雄（きしだ ふみお） さんです。
-
openrouter/optimus-alpha:
2024年6月時点の日本の内閣総理大臣は**岸田文雄（きしだ ふみお）**氏です。
-
gemini/gemini-2.0-flash:
現在の日本の総理大臣は、岸田 文雄（きしだ ふみお） さんです。
-
claude-3.5:
日本の現在の総理大臣は岸田文雄(きしだ ふみお)です。2021年10月4日に第100代内閣総理大臣に就任しました。自由民主党所属で、2021年9月29日に自民党総裁に選出されています。
-
openrouter/gemini-2.5-pro-exp-03-25:free:
日本の現在の総理大臣は、**岸田 文雄（きしだ ふみお）**さんです。 彼は2021年10月4日に就任しました。
-
claude-3.7:
日本の現在の総理大臣は岸田文雄（きしだ ふみお）です。岸田文雄氏は2021年10月4日に就任しました。
今回試したすべてのLLMモデルは、日本の現在の総理大臣について古い情報（岸田文雄氏）を回答した。
これは、これらのモデルの内部知識が2024年9月の総理大臣交代以降、更新されていない可能性が高いことを示唆している。
特に grok-3-mini-beta は自身の知識カットオフが2023年9月であることを明示しており、正直な応答と言える。
他のモデルも、回答に「2023年10月時点」や「2024年7月時点」といった情報源の古さを示唆する表現を含んでいたり、最新情報の確認を促したりしている。
事実に基づいた質問は、LLMの知識の鮮度や正確性を評価する上で有効な手段である。