AIレベル定義の試行

　AI4PMのSubAグループでは、プロジェクトマネジメント領域におけるAIレベル定義の活用を試行しています。

１．事例紹介

生成AIによるAIレベル定義の検証

　プロジェクトマネジメント領域におけるAIレベル定義にて生成AIのレベル定義、および互いのAIレベルを定義させました。使用した生成AIは、「Microsoft copilot」、「PMI Infinity」、「Chat GPT4.0o」、「Google Gemini」となります。まずChat内でAIレベル定義を認識させることで、AI自身にAIレベルを認識させ、その定義を用いて各生成AIのレベル定義を実施しました。なお、生成日は2024/8/3となります。

生成AIへの質問

質問１：PMI日本支部のAI@Workが提示するAIレベル定義について教えてください​

質問２：上記AIレベル定義を用いて、○○（「Microsoft copilot」、「PMI Infinity」、「Chat GPT4.0o」、「Google Gemini」）がどのレベルに該当するか教えてください。

生成AIによる回答

　「Chat GPT4.0」、「Copilot with Bing Chat」、「Google Gemini」、「PMI Infinity」での回答の要約を下表に示します。なお、PMI Infinityの評価で【評価できず】と記載があるところは、PMI InfinityにてAIレベル定義を定義できず、その結果各AIのレベルが定義できなかったことを示します。

被評価AI		ChatGPT	Copilot	Gemini	PMI Infinity
評価AI	ChatGPT	主にレベル2とレベル3の間に位置	主にレベル2とレベル3の間に位置	主にレベル3とレベル4の間に位置	主にレベル3とレベル4の間に位置
	PMI Infinity	評価できず	評価できず	評価できず	評価できず
	Copilot	レベル4に該当	レベル4に該当	レベル4に該当	レベル4に該当
	Gemini	レベル2の「部分的な自動化」を超え、レベル3の「高度な自動化」に該当	レベル3の「高度な自動化」に該当	レベル3の「高度な自動化」を超える可能性を秘めている 完全な自動化（レベル4）を実現するためには、さらなる技術的なブレイクスルーが必要	レベル3の「高度な自動化」に該当

試行結果のまとめ

• PMI Infinityを除きAIレベル定義を正しく認識できました。その結果、各AIについて相互でAIレベルを定義できました。
• PMI Infinityでは、日本支部の活動そのものが認識されておらず、AIレベル定義を正しく認識できませんでした。その結果、その他のAIレベル定義も定義できませんでした。
• Copilotは全般に高めの評価、ChatGPTは自身よりGemini、PMI Infinityの評価が高いのが興味深い結果と考えました。
• Geminiは、各生成AIについて、「PMI日本支部AI@WorkのAIレベル定義に当てはめて評価することは、現時点では非常に困難」、「重要なのは、AIレベル定義を絶対的な基準として捉えるのではなく、あくまでも一つの参考として活用することです」と評しており、一番妥当的な評価をしていると考えられます。
  
  以下に各生成AIの回答を示します。

生成AIによるAIレベル定義の試行(2024.08)