AIに画面共有しながら一緒にサーバ構築してみた件

みなさん、こんにちは、入社6年目のK.naoyaです。

はじめに

とある休日に、ほのぼのとYoutubeを見ていたらこんな動画が流れてきました。

『AIにゲームのプレイ画面を画面共有しながら音声で会話してる』

動画ではGeminiにとあるゲームの画面を共有しながらプレイ方法を教えてもらうといったことをしていました。従来のAIと違うと感じたのは画像を添付するのではなく、画面を共有しながら尚且つ、声で質問しながら見てもらうところになります。処理に関しては一定間隔で動画を区切り、アップロードして応答を待つ、といった流れでした。

....。手順の手助けということはサーバ構築でもできるのではないか！

ということでやってみた

自宅に建てたproxmoxのwebUI画面をGeminiに共有しながら以下のシナリオを実施してみました。

１．サーバ（赤枠）のインストール

２．ツールのインストール

SMTPサーバかそこらへんのOSSを入れてみようと思いました。

結果と感想

1.のシナリオのサーバのインストールについては画面のどこを押せばよいのか聞いては画面のここらへんというのを指示してくれたので従来のテキストによる会話よりスムーズにできた印象でした。※所々相槌があるので本当に画面共有しながら講師がやってくれるようなイメージでした。

２．のツールのインストールについては現状難しいというよりかはサーバ構築においてGUIではなくCUIの場合、全て文字を読み上げる形になるので「apt updateをしてください」のコマンド部分を全てアルファベットで読まれるので途中で断念しました。「エーピーティー　ユーピーディーエーティーイーをしてください」と音声で読み上げられる感じになります。

まとめ

ある程度のGUI操作であればAIに手助けしてもらいながら構築が出来そうな感じがしました。

しかしCUI操作となると、こちらに関しては文字ベースによる対話型が有利であるような感じがしました。未来の研修や操作手順の説明方法が変わりそうな予感がします。