Copilot、ついにゲーム画面を理解してアドバイスまでできるように

WindowsUpdate

Copilot

Microsoftは、GPT-4oを使用したCopilotのデモを披露しました。

デモではCopilotにゲーム画面を共有して、人とCopilotとで以下のような自然な音声会話が行われました。

プレイヤー: やあCopilot、調子はどうだい?

Copilot: やぁ、Minecraftをやっているようだね。

プレイヤー: ああ、剣の作り方を考えているんだ。

Copilot: 剣を作るには材料が必要だね。まずはEキーを押してインベントリを開けてみて。剣の柄にぴったりの棒があるけど、刃の材料が足りないみたいだね。まずは木か石を集めに行こう。

プレイヤー: ああ、そうしよう。

プレイヤー: オーマイガッ、あれはなんだ?

Copilot: あれはゾンビだ! 走って早く逃げて! 全力で逃げるかブロックの塔を建てて届かないところに逃げよう! シェルターを探すか、横を掘ったりできるならやってみて!

プレイヤー: よし、もう安全かな。

Copilot: ふう、危ないところだった。よくシェルターを見つけたね。

Copilotにゲーム画面を共有することで、Copilotはゲーム上で何が起こっているのかを理解し、プレイヤーにアドバイスをしています。

Microsoftはこの機能を「近日公開予定」と述べています。

Posted by にっち