Copilot、ついにゲーム画面を理解してアドバイスまでできるように
Microsoftは、GPT-4oを使用したCopilotのデモを披露しました。
デモではCopilotにゲーム画面を共有して、人とCopilotとで以下のような自然な音声会話が行われました。
プレイヤー: やあCopilot、調子はどうだい? Copilot: やぁ、Minecraftをやっているようだね。 プレイヤー: ああ、剣の作り方を考えているんだ。 Copilot: 剣を作るには材料が必要だね。まずはEキーを押してインベントリを開けてみて。剣の柄にぴったりの棒があるけど、刃の材料が足りないみたいだね。まずは木か石を集めに行こう。 プレイヤー: ああ、そうしよう。 プレイヤー: オーマイガッ、あれはなんだ? Copilot: あれはゾンビだ! 走って早く逃げて! 全力で逃げるかブロックの塔を建てて届かないところに逃げよう! シェルターを探すか、横を掘ったりできるならやってみて! プレイヤー: よし、もう安全かな。 Copilot: ふう、危ないところだった。よくシェルターを見つけたね。 |
Copilotにゲーム画面を共有することで、Copilotはゲーム上で何が起こっているのかを理解し、プレイヤーにアドバイスをしています。
Microsoftはこの機能を「近日公開予定」と述べています。