AWS AIP サンプル問題

Question 1

ある企業は社内ナレッジ検索アシスタントの実現可能性を3か月で検証する必要があります。専任の機械学習エンジニアはおらず、複数ベンダーの大規模言語モデルを比較したうえで最終的なモデルを決めたいと考えています。検証期間中の利用量は読めないため、アイドル時に費用が発生する構成は避けたいという制約があります。この検証基盤として最も適切なものはどれですか。

Accepted Answer

Amazon BedrockのサーバーレスAPIで複数プロバイダのモデルを従量課金で呼び出す

Question 2

複数の事業部がそれぞれ生成AIアプリケーションを開発しはじめており、アーキテクチャの品質にばらつきが出ています。中央のアーキテクチャチームは、モデル選定・プロンプト管理・責任あるAI・コストといった生成AI固有の観点を含めて各ワークロードを定期的にレビューし、改善項目を一覧として追跡できる仕組みを求めています。最も適切な手段はどれですか。

Accepted Answer

AWS Well-Architected Toolで生成AIレンズを適用してワークロードをレビューする

Question 3

法務部門は、1件あたり約18万トークンに達する長大な契約書について、全条項を漏れなく反映した要約を生成したいと考えています。特定の条項を検索するのではなく、契約書全体を通して整合性のとれた要約が必要であり、条項の見落としは許容されません。品質を最優先する場合の設計として最も適切なものはどれですか。

Accepted Answer

契約書全体を1回のリクエストに収められるコンテキストウィンドウを持つFMを選び、全文を入力する

Question 4

毎晩、前日分の問い合わせ約100万件に対してFMでカテゴリ分類を行う必要があります。結果は翌朝の集計に間に合えばよく、リアルタイム性は求められません。分類は短文に対する単純なタスクで、社内評価では小型モデルでも必要な精度に達しています。コストを最小化する構成はどれですか。

Accepted Answer

小型のFMを選び、Amazon Bedrockのバッチ推論ジョブで一括処理する

Question 5

社内向けチャットアシスタントの利用者から、送信後に画面が無反応になる時間が長いという苦情が出ています。回答は平均で800トークンほど生成されており、モデルの総所要時間そのものは想定内です。アプリケーション側の変更で体感待ち時間を改善する最も効果的な方法はどれですか。

Accepted Answer

ストリーミングAPIでトークンを逐次受け取り、生成の途中から画面に表示する

Question 6

プラットフォームチームは、各開発チームが生成AIアプリの基盤（VPCエンドポイント、ガードレール、ログ設定、IAMロール）を毎回自前で構築している状況を是正したいと考えています。承認済みの構成だけをセルフサービスで払い出し、バージョン管理された形で更新を配布する必要があります。最も適切な方法はどれですか。

Accepted Answer

AWS CDKで標準構成をコンストラクト化し、AWS Service Catalogの製品として各チームへ払い出す

Question 7

3つの候補FMのうちどれを本番採用するかを決める必要があります。公開ベンチマークのスコアは僅差で、社内の業務文書に対する回答品質を根拠に判断したいと考えています。評価用に人手で作成した質問と模範解答のデータセットが500件用意できています。最も適切な進め方はどれですか。

Accepted Answer

Amazon Bedrockのモデル評価ジョブで、自社データセットに対する各モデルの出力を比較する

Question 8

RAGアシスタントでは、役割定義・出力規約・用語集からなる約6,000トークンの共通プレフィックスを、すべてのリクエストの先頭に付与しています。利用増に伴い入力トークンの課金が支配的になり、レイテンシも悪化しています。共通プレフィックスの内容は業務要件上、短縮できません。最も効果的な対策はどれですか。

Accepted Answer

共通プレフィックスにプロンプトキャッシュを設定する

Question 9

本番の生成AIアプリでは、利用するFMのモデルIDと推論パラメータをLambda関数の環境変数に設定しています。新モデルへの切替やパラメータ調整のたびにデプロイパイプラインを流す必要があり、問題が起きたときの切り戻しにも時間がかかります。コードもデプロイも変更せずに設定を切り替え、異常を検知したら自動で巻き戻せる仕組みはどれですか。

Accepted Answer

AWS AppConfigで設定を管理し、自動ロールバック付きで段階展開する

Question 10

マルチテナントSaaSでは、テナントごとに異なるプロバイダのFMを選択できるようにしたいと考えています。現状はモデルごとにリクエストとレスポンスのJSON構造が異なるため、対応プロバイダを追加するたびにアプリケーションコードの分岐が増え続けています。分岐を最小化する方法はどれですか。

Accepted Answer

Amazon BedrockのConverse APIを使い、モデル横断で共通のメッセージ形式で呼び出す

Question 11

東京リージョンで提供している生成AIアプリで、キャンペーンの時間帯にThrottlingExceptionが多発しています。利用しているモデルは一部のリージョンでしか提供されておらず、オンデマンドのクォータ引き上げだけでは短時間のバーストを吸収しきれません。アプリケーションへの変更を最小限にしつつ可用性を高める方法はどれですか。

Accepted Answer

クロスリージョン推論プロファイルを指定して呼び出し、複数リージョンの容量を利用する

Question 12

EU域内の顧客向けサービスでは、推論処理をEU内のリージョンに限定することが社内規程で定められています。一方で、単一リージョンのオンデマンド容量ではピーク時のスループットが不足しています。規程を守りつつスループットを確保する構成はどれですか。

Accepted Answer

EUのジオグラフィック（地域）クロスリージョン推論プロファイルを使用する

Question 13

基幹の問い合わせ対応アプリはFMの応答に依存しています。モデル側の障害や長時間のタイムアウトが起きた際に、画面全体をエラーにするのではなく、定型のFAQ回答と有人チャットへの導線を返すよう設計を見直すことになりました。連続して失敗した場合は一定時間モデル呼び出しを止め、その後に自動で復旧を試みる必要もあります。最も適切な実装はどれですか。

Accepted Answer

AWS Step FunctionsのワークフローでリトライとCatchを定義し、失敗状態に応じて代替パスへ分岐させる

Question 14

実験用に作成したカスタムモデル向けのプロビジョンドスループットを、6か月コミットで購入していました。3か月経過した時点で当該モデルの利用をやめ、アプリケーションからの呼び出しも完全に停止しましたが、請求は続いています。この状況についての正しい理解はどれですか。

Accepted Answer

コミット期間が終了するまで削除できず、その間の時間課金は継続する

Question 15

全社ナレッジベースで、部門・作成者・有効期限といった属性による絞り込みを行えるようにします。データソースはAmazon S3、ベクトルストアはAmazon OpenSearch Serverlessです。メタデータの設計として正しいものはどれですか。（2つ選択）

Accepted Answer

ドキュメントごとに「ファイル名.拡張子.metadata.json」を同じ場所に置き、属性をキーと値で記述する

Accepted Answer

有効期限はエポック秒などの数値で保持し、大小比較の演算子でフィルタする

Question 16

Amazon Bedrock Knowledge Basesのベクトルストアとして、S3ベクトルバケットの採用を検討しています。設計を確定する前に把握しておくべき制約はどれですか。（2つ選択）

Accepted Answer

バイナリ埋め込みには対応せず、浮動小数点の埋め込みのみを格納できる

Accepted Answer

トークン数の大きい階層チャンキングと組み合わせると、ベクトルあたりのメタデータ上限を超えることがある

Question 17

ある企業は、契約書レビューのマルチエージェントシステムをStrands Agents SDKで構築しています。処理は「条項抽出→リスク判定→要約生成」の順に必ず実行され、各ステップの出力が次のステップの入力になります。実行経路が実行ごとに変わると監査部門への説明ができなくなるため、経路を固定する必要があります。最も適切なマルチエージェントパターンはどれですか。

Accepted Answer

Graphパターンでエージェントをノード、依存関係をエッジとして定義する

Question 18

ある企業は、顧客サポート向けエージェントをAgentCore Runtime上で運用しています。同一セッション内の多ターン会話に加えて、利用者の過去の問い合わせ傾向や好みをセッションをまたいで保持し、後続の予約エージェントからも同じ記憶を参照できるようにする必要があります。運用負荷を増やさずに実現する方法はどれですか。

Accepted Answer

AgentCore Memoryの長期メモリを共有する

Question 19

ReActパターンのエージェントをStep Functionsの標準ワークフローで実装したところ、まれに同じツールを延々と呼び続けて処理が終わらないケースが発生しています。無駄なモデル呼び出しを止めつつ、打ち切り時には利用者へ定型の応答を返したいと考えています。最も適切な実装はどれですか。

Accepted Answer

Choiceステートで反復回数の上限を判定する

Question 20

エージェントが呼び出す社内の在庫APIが障害で応答しなくなると、エージェントのリクエストがすべてタイムアウト待ちになり、Lambdaの同時実行数を食い潰しています。障害中も在庫参照を伴わない会話は継続させたいと考えています。最も適切な対策はどれですか。

Accepted Answer

サーキットブレーカーで代替応答へ切り替える

Question 21

マルチテナントのエージェント基盤で、ツール用Lambdaが顧客ごとのS3プレフィックスにアクセスします。実行ロールには全テナント分の権限があり、モデルが生成したパラメータ次第で他テナントのデータを読める状態です。テナント数は数万規模で日々増減します。最小権限を強制する設計はどれですか。

Accepted Answer

テナントIDをセッションタグに付けてロールを引き受ける

Question 22

生成された与信審査コメントを、金額が一定以上の場合のみ担当者が承認してから確定する仕組みをStep Functionsで実装します。承認待ちは最長3営業日に及び、承認されしだい速やかに後続処理へ進む必要があります。最も適切な実装はどれですか。

Accepted Answer

Taskステートを .waitForTaskTokenで呼び出し、承認画面からトークンを返す

Question 23

3つの専門モデル（法務・財務・技術）に同じ契約書を評価させ、3つの出力を独自ロジックで統合して最終スコアを算出します。3つの評価は互いに独立しており、全体のレイテンシを最小化したいと考えています。Step Functionsでの最適な構成はどれですか。

Accepted Answer

Parallelステートで3つの分岐を同時実行し、後続のLambdaで統合する

Question 24

Converse APIのツール使用でエージェントを実装しています。モデルが生成したツール入力に必須項目が欠けている場合、現在はLambdaが例外を送出してワークフローごと失敗します。モデル自身に入力を修正させて処理を継続させたいと考えています。最も適切な実装はどれですか。

Accepted Answer

検証エラーをtoolResultのstatus=errorとして不足項目とともにモデルへ返す

Question 25

社内のMCPサーバーを設計しています。あるツールは200MBのベクトルインデックスをメモリに保持し、リレーショナルデータベースへの接続プールを使い回すことで応答時間を確保しています。トラフィックは平日日中に定常的に発生します。最も適したホスティング先はどれですか。

Accepted Answer

ECS on Fargateで長時間稼働するサービスとして動かす

Question 26

社内には既存のREST API（OpenAPI仕様書あり）とLambda関数が数十個あります。これらをMCP互換のツールとして複数のエージェントから使えるようにしたいのですが、既存実装には手を入れられません。最も工数の少ない方法はどれですか。

Accepted Answer

AgentCore Gatewayに登録し、MCPエンドポイントとして公開する

Question 27

開発者のローカル環境ではMCPサーバーをサブプロセスとして起動して利用していましたが、これをVPC内の複数のエージェントから共有して呼び出せるようにします。MCPの標準に沿った構成はどれですか。

Accepted Answer

Streamable HTTPトランスポートでリモートエンドポイントとして公開する

Question 28

エージェントのツールが、利用者ごとのアクセス権に基づいて外部SaaS（OAuth 2.0）のデータを取得する必要があります。利用者の同意取得とアクセストークンの安全な保管・更新を、既存の認証基盤を作り直さずに実現したいと考えています。最も適切なサービスはどれですか。

Accepted Answer

AgentCore Identityにトークンの取得と更新を委ねる

Question 29

全社共通のMCPゲートウェイに200を超えるツールを登録したところ、エージェントが適切なツールを選べず誤った呼び出しが増えました。登録ツールを削減せずに選択精度を改善する方法はどれですか。

Accepted Answer

Gatewayのセマンティック検索で候補を絞り込む

Question 30

ある金融機関は、Amazon Bedrockの基盤モデルと、Amazon SageMaker AIのエンドポイントにデプロイした自社ファインチューニング済みモデルを、同一の社内アシスタントから使い分けています。コンプライアンス部門は、どちらのモデルを経由した場合でも、拒否トピックと機密情報フィルタが同一の定義で適用されることを求めています。ポリシーの定義を一箇所に保ちながらこの要件を満たす方法はどれですか。

Accepted Answer

アプリケーションからApplyGuardrail APIを呼び、両モデルの入出力を同じガードレールで評価する

Question 31

あるチームはAmazon Bedrock Guardrailsを作成し、アプリケーションからは常にDRAFTを指定して呼び出しています。安全チームがコンソールでフィルタ強度を調整して検証していたところ、その変更が数分後には本番の利用者応答に影響していることが判明しました。検証と本番を分離しつつ、適用中の設定を追跡できるようにする最も適切な方法はどれですか。

Accepted Answer

検証済みの設定からバージョンを作成し、本番はその数値バージョンを指定する

Question 32

あるヘルスケア企業の問診支援アシスタントは、コンテンツフィルタのViolenceカテゴリをHighに設定しています。運用開始後、外傷やけがの症状を説明する正当な患者の入力が繰り返しブロックされ、問い合わせが急増しました。明確に有害な内容のブロックは維持したまま、この過剰なブロックを減らすために最も適切な変更はどれですか。

Accepted Answer

Violenceカテゴリのフィルタ強度をHighからMediumに下げる

Question 33

ある銀行の顧客向けチャットアシスタントでは、規制上、個別の投資助言に該当する回答を一切行ってはなりません。開発チームは禁止したい表現を洗い出してワードフィルタに数百語を登録しましたが、言い換えや遠回しな表現で助言めいた応答が生成される事例が続いています。表現の揺れに追随できる制御はどれですか。

Accepted Answer

投資助言を拒否トピックとして定義し、説明と代表的な発話例を登録する

Question 34

ある企業のRAGアシスタントでは、システムプロンプト、検索結果、利用者の質問を1つのプロンプト文字列に結合してInvokeModelを呼び出しています。入力タグは使っていません。ガードレールでプロンプト攻撃フィルタを有効にしましたが、検証で明らかなジェイルブレイク文を質問に混ぜても検出されません。拒否トピックと機密情報フィルタは期待どおり動作しています。原因として最も可能性が高いものはどれですか。

Accepted Answer

利用者の質問が入力タグで囲まれていないため

Question 35

あるチームはAmazon Bedrock Guardrailsの入力タグを使い、利用者が入力した部分だけを評価対象にしています。タグのサフィックスはアプリケーションのコードに定数として "app" が埋め込まれています。セキュリティレビューで、この実装が攻撃者に悪用されうると指摘されました。指摘の内容と対策として正しいものはどれですか。

Accepted Answer

利用者が閉じタグを入力に含めて評価対象から抜け出せるため、リクエストごとにランダムな値を使う

Question 36

ある保険会社は、契約規程を取り込んだAutomated Reasoning checksのポリシーをAmazon Bedrock Guardrailsに設定し、給付可否の回答が規程と論理的に整合することを検証しています。セキュリティチームは、この仕組みによってプロンプトインジェクションにも対処できると考えています。この理解に対する正しい指摘はどれですか。

Accepted Answer

与えられた内容をそのまま検証するだけなので、コンテンツフィルタのプロンプト攻撃検出と併用する

Question 37

ある企業は、日本語と英語で提供する社内アシスタントにAmazon Bedrock Guardrailsを適用しています。英語の入力では拒否トピックとプロンプト攻撃の検出が期待どおり働きますが、日本語の入力ではほとんど検出されません。ガードレールは作成時の既定のまま運用しています。原因と対策として正しいものはどれですか。

Accepted Answer

Classic tierは対応言語が限られるため、Standard tierに切り替える

Question 38

あるカスタマーサポートのRAGアプリでは、コンテキストグラウンディングチェックを有効にしています。監視の結果、「口座維持手数料はいくらか」という質問に対し、取得済み文書に確かに記載のある「クレジットカードの延滞金は23.99%である」という内容をそのまま返す事例が目立ちました。この事例を確実に遮断するために調整すべき設定はどれですか。

Accepted Answer

関連性（Relevance）の閾値を引き上げる

Question 39

ある小売企業の分析アシスタントは、売上実績の集計値を利用者に回答します。現在は取得した明細データをプロンプトに含めて基盤モデルに合計や前年比を計算させていますが、同じ質問でも数値が揺れることがあり、経営会議の資料には使えないと指摘されました。数値の正確性を担保する設計はどれですか。

Accepted Answer

自然言語をSQLに変換してAthenaで実行し、その結果を回答に埋め込む

Question 40

ある企業は、社内規程に関する質問に答えるチャットアプリケーションをAmazon Bedrock上で運用しています。すべてのリクエストで同一の規程文書（約8,000トークン）をシステムプロンプトとして先頭に置き、その後ろにユーザーの質問文を付けて送信しています。請求の内訳を確認したところ、費用の大半が入力トークンによるものでした。開発チームは、アプリケーションの対話性を損なわずに入力トークン費用と初回応答までの時間を下げたいと考えています。最小限の改修で目的を達成する方法はどれですか。

Accepted Answer

システムプロンプトの直後にキャッシュチェックポイントを置く

Question 41

あるチームは、Amazon Bedrockのプロンプトキャッシングを有効にしてコスト削減を狙いましたが、レスポンスを確認するとcacheReadInputTokensはほとんど0で、cacheWriteInputTokensばかりが計上されています。プロンプトの構造を調べたところ、システムプロンプトの冒頭にリクエストごとのセッションIDと現在時刻が埋め込まれ、その後ろに全社共通の長い指示文が続いていました。キャッシュヒット率を改善するために最も適切な対応はどれですか。

Accepted Answer

セッションIDと時刻の埋め込み位置をチェックポイントより後ろへ移す

Question 42

ある企業は、長時間にわたる調査業務を支援するアシスタントをAmazon Bedrock上で構築しています。ユーザーは同じ資料コンテキストを保持したまま断続的に質問しますが、返信の間隔は5分から40分程度までばらつきます。プロンプトキャッシングは有効ですが、間隔が空くたびにキャッシュが失効し、大きなコンテキストの書き込みが繰り返されてコストが想定を上回っています。使用中のモデルは1時間のTTLに対応しています。最も適切な対応はどれですか。

Accepted Answer

キャッシュチェックポイントに1時間のTTLを指定する

Question 43

ある企業は、問い合わせメールを14種類に分類する処理を上位モデルで運用しています。月間の呼び出し件数が多く推論費用が課題ですが、分類精度は現在の水準を維持する必要があります。プロンプトはすでに簡潔で、モデル呼び出しログには上位モデルの応答が1年分蓄積されています。推論の単価を下げる最も適切な方法はどれですか。

Accepted Answer

モデル蒸留で上位モデルを教師、小型モデルを生徒として学習させる

Question 44

ある企業は、英語圏向けカスタマーサポートのチャットボットをAmazon Bedrockで運用しています。問い合わせの約7割は定型的なFAQで小型モデルでも十分な品質が得られますが、残る3割は複雑なトラブルシューティングで上位モデルが必要です。現在は全件を上位モデルで処理しており費用が膨らんでいます。運用チームは、自前の振り分けロジックを実装・保守する負担を避けたいと考えています。最も適切な対応はどれですか。

Accepted Answer

インテリジェントプロンプトルーティングで振り分ける

Question 45

あるチームは、契約書の要点抽出タスクに使うモデルを3つの候補から選定しています。品質については正解付きのゴールデンデータセットで評価スコアを算出済みです。残る課題は、どのモデルが実運用で最も費用対効果が高いかを定量的に示すことです。経営層には、品質とコストのトレードオフを1つの指標で説明する必要があります。最も妥当な評価方法はどれですか。

Accepted Answer

本番相当のプロンプト集合で入出力トークン数を実測して比較する

Question 46

ある保険会社は、事故報告書をAmazon Bedrockの基盤モデルで要約する社内アプリを運用しています。品質管理部門は「保険業界の用語と免責表現の使い方が社内基準に沿っているか」という独自の観点でスコア化し、モデルやプロンプトを変更するたびに同じ物差しで比較したいと考えています。分類タスク向けの正解率のような指標ではこの観点を表現できません。運用負荷を抑えつつ要件を満たす方法はどれですか。

Accepted Answer

判定モデルを使う評価ジョブでカスタム指標を定義し、社内基準を採点プロンプトとして与える

Question 47

あるスタートアップは、問い合わせ要約機能に使う基盤モデルを3候補から選定しています。経営層からは「品質だけでなく、1リクエストあたりのトークン消費と応答時間まで含めた費用対効果で決めること」と指示されました。3候補はいずれもAmazon Bedrockで利用でき、共通のプロンプトデータセットは用意済みです。最も適切な進め方はどれですか。

Accepted Answer

各モデルで評価ジョブを実行して品質スコアを取得し、CloudWatchのトークン数とレイテンシと突き合わせる

Question 48

ある企業は、Amazon Bedrockの基盤モデルと、Amazon EKS上に自社でホストしているオープンソースモデルを同じ物差しで比較したいと考えています。評価指標は統一し、レポートも一箇所にまとめる必要があります。自社ホストのモデルはEKS上に残す前提で、移行の工数は最小限に抑えたいと考えています。適切な方法はどれですか。

Accepted Answer

自社ホストモデルの応答をあらかじめ生成してプロンプトデータセットに含め、評価ジョブを実行する

Question 49

社内のナレッジ検索アシスタントを刷新するにあたり、想定質問と模範解答のペアを500件用意しました。判定モデルによる評価ジョブで、模範解答を踏まえて回答が正しいか、そして質問に含まれるすべての論点に答えられているかを採点させたいと考えています。選ぶべき組み込み指標の組み合わせはどれですか。

Accepted Answer

Builtin.CorrectnessとBuiltin.Completeness

Question 50

ある医療機器メーカーは、添付文書を要約するアシスタントを開発しています。日々のプロンプト改修では品質の後退がないことを自動で確認したい一方、リリース判定については臨床的な妥当性を薬事担当の専門家が確認しなければならないという社内規程があります。評価の仕組みとして最も適切なものはどれですか。

Accepted Answer

日々の確認は判定モデルの評価ジョブで自動化し、リリース判定は人間のワーカーによる評価ジョブに委ねる

AWS AIP サンプル問題

基盤モデルの統合・データ管理・コンプライアンス

Q16. Amazon Bedrock Knowledge Basesのベクトルストアとして、S3ベクトルバケットの採用を検討しています。設計を確定する前に把握しておくべき制約はどれですか。（2つ選択）

実装とインテグレーション

Q27. 開発者のローカル環境ではMCPサーバーをサブプロセスとして起動して利用していましたが、これをVPC内の複数のエージェントから共有して呼び出せるようにします。MCPの標準に沿った構成はどれですか。

Q29. 全社共通のMCPゲートウェイに200を超えるツールを登録したところ、エージェントが適切なツールを選べず誤った呼び出しが増えました。登録ツールを削減せずに選択精度を改善する方法はどれですか。

AIの安全性・セキュリティ・ガバナンス

GenAIアプリの運用効率と最適化

テスト・検証・トラブルシューティング

続きは演習アプリで