Googlebook の Gemini アプリに、Googlebook デバイス上の特定のアプリで複数のステップからなるタスクを処理するようリクエストできます。Gemini は、Gemini アプリのベータ版機能である「スクリーン オートメーション」を活用して、次のような日常のさまざまなタスクをお手伝いします。
- 配車、フライト、宿泊施設の予約
- イベントや体験のチケットの購入
- 商品の売買
- 料理や食料品の注文
ヒント: スクリーン オートメーションは、Gemini Spark やアプリ連携とは異なります。詳しくは、機能の違いについての説明をご覧ください。
ご利用要件
Gemini を使用してタスクを完了するには、次の要件を満たす必要があります。
- 18 歳以上で、米国、英国、インド、韓国のいずれかに居住し、Googlebook で個人の Google アカウントにログインしていること。仕事用、学校用、または管理対象の Google アカウントでは、この機能を利用できません。詳しくは、Gemini アプリへのログイン方法をご確認ください。
重要:
- 現在のところ、スクリーン オートメーションは韓国語、英語（米国）、英語（英国）、英語（インド）でのみご利用いただけます。また、一部のアプリでのみ動作します。
- この機能は Googlebook の Gemini アプリでのみ利用可能です。「OK Google」と話しかけて Gemini を起動した場合も含まれます。
- この機能は段階的にリリースされているため、現時点ではまだご利用いただけない場合があります。
Gemini でスクリーン オートメーションを使用する前に
Gemini はまだ学習中であり、不正確な情報を表示することがあります。緊急時や、機密情報が含まれるタスクには、スクリーン オートメーションを使用しないでください。ログイン情報、お支払いの詳細、その他の機密情報は、チャットに直接入力しないでください。特定のアプリでアクションを完了するために情報入力が必要な場合は、タスクを自分で操作し、そのアプリに直接入力してください。また、Gemini はアプリ連携を通じてチャット内の情報を共有することがある点に留意してください。アプリ連携の詳細をご確認ください。
Gemini にアプリでのタスクの完了をリクエストする
- Googlebook で Gemini アプリ
を開きます。
- 「OK Google」と話しかけて Gemini を起動することもできます。
- 「空港までの配車を予約して」など、特定のアプリで完了させたいタスクの詳細を Gemini に伝えます。
- Gemini がアプリ連携を使用してタスクを完了できる場合は、スクリーン オートメーションではなくアプリ連携が使用されます。アプリが接続されていない場合は、接続するためのオプションが表示されます。詳しくは、アプリ連携を利用、管理するをご覧ください。
- Gemini は、リクエストに対するアクション プランを作成する前に、詳細情報の提供を求めることがあります。
- Gemini は、チャットを閉じてもバックグラウンドでタスクを継続します。
- Gemini でスクリーン オートメーションを初めて使用する場合、または特定のアプリで初めて使用する場合は、画面上の手順に沿って操作します。
- アプリでタスクを完了するには、Google アプリにスクリーン オートメーションの使用を許可する必要があります。
- 必要に応じて、タスクに対する Gemini のアクション プランを確認して確定します。
- プランを変更するには、更新内容を説明するプロンプトを送信します。
- チャットでの指示に沿って、必要なステップを完了し、乗車予約の確認や注文確定などの最終ステップを完了します。
- Gemini に注文の準備をリクエストしたものの、注文を完了しなかった場合、商品がカートに残ることがあります。
を開きます。
ヒント: 写真や画面を使用してタスクを開始することも可能です。たとえば、ビッグベンの写真をアップロードしたり、Google マップでビッグベンを表示している画面を共有したりしてから、Gemini に近くのホテルを予約するようリクエストできます。
例
サポート対象のすべての Googlebook デバイスで、Gemini に次のことをリクエストできます。
- 配車の予約:
- 空港までの配車を予約して
- 明日の配車を予約して
- 料理の注文:
- 前回注文したコーヒーを再注文して
- 宅配ピザを注文して
- 食料品の注文:
- カートに牛乳と卵を追加して
- 母の家に送る食料品を注文して
- 商品の売買:
- このサイズ 8 の靴を 30 ドルで販売して
- USB-C スマートフォン充電器を注文して
- 旅行の予約:
- 来月のサンフランシスコ発ロンドン行きの帰りのフライトを予約して
- 7 月の最終週にパリのホテルを 2 名宿泊で予約して
- チケットの購入:
- 来週土曜日のコンサートのチケットを 2 枚購入して
- 今週末のサッカーの試合のチケットを購入して
タスクの確認、停止、引き継ぎ
Gemini は、オンデバイスの仮想スマートフォン環境を使用してアプリでタスクを完了します。たとえば、アプリを開いて画面を操作し、カートに商品を追加するなどのタスクを処理できます。Gemini の進行状況をリアルタイムで確認し、いつでもタスクを停止したり、操作を引き継いだりできます。一部のタスクでは、Gemini が一時停止して、ユーザーによる操作を求めることがあります。
タスクを確認して操作を引き継ぐには:
- チャットまたはライブ情報の通知で、[進行状況を表示] を選択します。
- Gemini がタスクを完了するために使用しているオンデバイスの仮想スマートフォン環境のビューが開きます。
- タスクの操作を引き継ぐには、[自分で操作する] を選択します。
- 手順を完了します。
タスクを停止するには:
- チャットのテキスト ボックスで、[回答を停止]
[タスクを停止] を選択します。または、
- ライブ情報の通知で [タスクを停止] を選択します。
[タスクを停止] を選択します。または、スクリーン オートメーションの使用権限を管理する
アプリでタスクを完了するには、各アプリでスクリーン オートメーションを使用する権限を Google に付与する必要があります。この権限を付与すると、Gemini はアプリの画面上のコンテンツを読み取って操作できるようになります。この権限はいつでも変更できます。
- Gemini アプリ
- 上部のメニュー アイコン
- スクリーン オートメーションの権限を変更するアプリを選択します。
- [常に許可]、[毎回確認]、[許可しない] のいずれかを選択します。
Gemini がスクリーン オートメーションを使用したときのチャットを共有する
重要:
- チャットを共有する前に、公開リンクに個人情報や機密情報が含まれていないことを確認してください。
- チャットを共有すると、公開リンクが作成され、そのリンクを知っている人なら誰でもチャットを表示できるようになります。詳しくは、Gemini アプリでのチャットを共有するをご覧ください。
ユーザーは、Gemini がスクリーン オートメーションを使用してタスクを完了したときのチャットを共有できます。詳しくは、チャットを共有する方法についての説明をご覧ください。
アプリでスクリーン オートメーションを制限する
以下の項目には上限があります。
- Gemini でのスクリーン オートメーションの使用をリクエストできる 1 日あたりの回数
- Gemini がスクリーン オートメーションを使用して同時に処理できるタスクの数
上限に近づくと、その月の残りリクエスト数が Gemini から通知されます。詳しくは、Gemini アプリの使用量上限についての説明をご覧ください。
Gemini がユーザーと協力して、ユーザー自身と個人情報を保護する仕組み
スクリーン オートメーションはベータ版の機能です。Google は常にこの機能の改善に取り組んでいますが、意図しない結果を防ぐために、慎重に使用してください。タスク実行中の Gemini のアクションについては、判断の誤りや予期しない結果（購入など）を含め、ユーザーが責任を負うものとします。
Gemini のスクリーン オートメーションなどのエージェント機能は便利で強力なツールですが、潜在的なリスクを認識しておくことが重要です。Gemini は、不正確な情報を表示したり、予期しない動作をしたりすることがあります。
Gemini は判断を誤ることもあります
Gemini は、ユーザーの意図や操作対象のアプリを誤って理解する可能性があります。その結果、次のような意図しないアクションにつながる恐れがあります。
- 手順を誤って実行したり、間違ったボタンや項目をタップしたりする
- ユーザーの許可なく商品を購入または注文する
- カートに誤った数量の商品を追加したり、商品を追加し忘れたりする
- タスクが完了していない、あるいはまだ処理できることがあるのに、完了したと報告する
- 本来なら自動で実行できるはずのステップで、ユーザーに操作を求める
タスクを確認して引き継ぐ、または停止する方法をご確認ください。
プロンプト インジェクションについて
プロンプト インジェクションとは、Gemini のスクリーン オートメーションのような生成 AI ツールから意図しない応答や有害な回答を引き出そうとする試みです。これは、ウェブサイト、アプリ内コンテンツ、メール、ドキュメント、マルチメディアなどのコンテンツに、ユーザーの目には触れないものの、AI エージェントには読み取れてしまう悪意のある指示が含まれている場合に発生します。
AI エージェントがタスクの実行中にこうした指示を読み取ると、だまされて意図しない操作を行ってしまう可能性があります。たとえば、悪意のある指示に基づき、AI エージェントが次のようなアクションを実行する可能性があります。
- ユーザーに確認せずにアプリで注文を確定する
- アプリでお届け先住所などの情報を変更する
- アプリのチャット機能でメッセージを送信する
詳しくは、Gemini がこれらのリスクに対処するための仕組みをご覧ください。
- 「自分で操作する」モード: Gemini は、以下のような特定のアクションを完了するため、ユーザーにタスクを「自分で操作する」よう求めることがあります。
- 特定の種類の情報（パスワードやお支払いの詳細など）を入力する
- 取引を確定する
- アプリにログインする
- アカウントを作成する
- ユーザーへの確認リクエスト: Gemini は、アプリ内で特定のアクションを完了する前に、ユーザーに内容の確認を求めるように設計されています。たとえば、次のような場合です。
- ドライバーへのメッセージ送信などの連絡を行う
- お届け先住所などの詳細を変更する
- 禁止されているタスクを検出する: Gemini には、生成 AI の使用禁止に関するポリシーに違反する可能性のあるタスクなど、有害または本来の目的から外れている可能性のあるリクエストを検出し、実行しないようにする保護機能が組み込まれています。
- アプリとアクションの制限: Gemini は、目的のタスクに関連するアプリやアクションのみに対しアクティビティを実行するように設計されています。これにより、関係のない他のアプリのデータを保護し、タスクに必要のないアクションを防ぐことができます。
上述した Gemini の安全保護対策が有効になっていても、スクリーン オートメーションに関わるすべてのリスクを回避できるわけではありません。
タスクをモニタリングする
Gemini のスクリーン オートメーションを使用する際、リスクを回避するうえで最も重要なのは、タスクをモニタリングすることです。Gemini からの確認のためのリクエストや質問には、よく目を通してください。スクリーン オートメーションは安全に配慮して慎重に使用し、Gemini に任せても問題ないと判断したタスクのみをリクエストするようにしましょう。以下の場合は特に注意してください。
- Gemini が重要なタスクを処理する
- Gemini の誤りが重大な問題につながる可能性がある
最終的な管理はユーザーが行う
Gemini の動作が意図しないものである場合は、いつでもタスクを確認し、停止するまたは引き継ぐことができます。タスクを確認して引き継ぐ、または停止する方法をご覧ください。
ユーザーデータの取り扱いについて
詳しくは、Gemini がスクリーン オートメーションを使用する際のデータの取り扱いについての説明をご覧ください。
スクリーン オートメーションと似ている他の機能について
- Gemini Spark: スクリーン オートメーションは、一部の Android モバイルアプリのタスクのみをサポートしています。一方、Gemini Spark を使用すると、複雑なワークフローを自動化し、進行中のタスクのスケジュールを管理できます（利用資格がある場合）。詳しくは、Gemini Spark についての説明をご覧ください。
- アプリ連携: スクリーン オートメーションとアプリ連携にはそれぞれ独自の設定があります。また、アプリ連携で利用できるアプリでは、スクリーン オートメーションは機能しません。スクリーン オートメーションがオフの場合でも、アプリ連携は利用できます。詳しくは、アプリ連携についての説明をご覧ください。