東京リージョンに移設し、応答を約4割短縮した話
要約
SolidChat の回答パイプライン（質問を受けてから最初のトークンを返すまで）を、海外リージョンをまたぐ構成から東京リージョン完結へと作り替えました。従来は埋め込み生成とベクトル検索の2段でユーザーの質問データが米国へ送られていましたが、これらを東京リージョンへ移しました。また、あわせて入力の PII（個人情報）検査を先頭に追加しました。結果として、回答生成に関わる顧客データが国外に出ない構成にしながら、初回応答(TTFT)を本番実測で**中央値 2,858ms → 1,805ms（約37%短縮）**まで縮められました。安全のための処理（PII検査・約191ms）を1段増やしてなお、全体では約4割の高速化です。
背景
SolidChat は、企業の Web サイトに RAG 型の生成 AI チャットボットを埋め込むサービスです。回答を組み立てる処理は、大きく「入力の受付 → 質問文の埋め込み生成 → ベクトル検索（意味の近いドキュメントを取得）→ LLM による回答生成」という段で構成されます。 既存の経路には2つの課題がありました。ひとつはデータの所在です。埋め込み生成は米国リージョンのモデル、ベクトル検索は米国西部（us-west-2）のデータベースを使っておりました。質問文とその埋め込みベクトルが処理のたびに国外へ渡っていました。もう一つは、レイテンシーです。海外との往復が初回応答が返るまでの時間を遅くしていました。。
変更の要点：処理を東京リージョンへ寄せた
初回応答（最初のトークン）までの経路を、次のように変更しました。
初回応答までの処理経路の Before / After。Before では埋め込み生成とベクトル検索の2段で質問データが海外（米国）へ送信されていた。After ではこの2段を東京リージョンへ移し、先頭に PII 検査を追加。データベース接続は非同期化してクリティカルパスの外へ出した。
具体的な変更は次のとおりです。
- 埋め込み生成: 東京リージョンの基盤モデル（Amazon Bedrock）へ移行
- ベクトル検索: 米国西部（us-west-2）から東京へ移行
- PII（個人情報）ガードレール: 処理先頭に追加し、PIIを含むユーザー入力を検知した場合は回答生成を中止
- データベース 接続: 他処理と並走させ、クリティカルパスから外し、初回応答時間への影響から除外
これにより、** 埋め込み・検索・生成・PII 検査 ** のすべてが ** 東京リージョン（ap-northeast-1） ** で実行されるようになりました。
データが国内で完結することのセキュリティ上の利点
旧構成では、質問文そのものと、それを数値化した埋め込みベクトルが、処理のたびに国外（米国）へ渡っていました。新構成では、質問の受付から個人情報の検査、意味検索、回答生成までが一貫して東京リージョン内で完結します。回答生成に関わる顧客データが国外に出ることはありません。データの所在（データ・レジデンシー）を国内に保ちたいお客様に、より明確な形でお応えできる構成になりました。
レイテンシーも短縮した
海外との往復（ラウンドトリップ）が2段（埋め込み・検索）なくなったことで、最初のトークンが返るまでの時間が短くなりました。
計測は本番環境の実トラフィックに対するサーバー側計測で、最初のチャンクがクライアントへ書き出されるまでの時間です。旧構成・新構成それぞれの期間を、同じログから集計しました。
| 計測窓 | 期間 | サンプル数 |
|---|---|---|
| Before（旧構成） | 2026年7月6日〜7月11日 | N = 872 |
| After（新構成） | 2026年7月18日、7月22日〜7月25日 | N = 548 |
| 指標 | Before | After | 改善 |
|---|---|---|---|
| 中央値（p50） | 2,858 ms | 1,805 ms | 約 −37% |
| 平均 | 3,099 ms | 1,894 ms | 約 −39% |
段階別に見ると、たとえば埋め込み生成は中央値 674ms → 167ms へ短縮しました。ベクトル検索も同様に、米国西部から東京への移設によって往復遅延が解消されています。一方、LLM 生成はもともと東京／日本向けのため、ここは変わっていません。
特筆すべきは、この間に新しく PII ガードレール（約191ms）を処理経路に追加していることです。安全性のための処理を一段増やしてもなお、全体では約4割の高速化を達成しました。
まとめ
- データ・レジデンシー：埋め込み・検索・生成・PII 検査を東京リージョンに集約し、回答生成に関わる顧客データが国外に出ない構成にしました。
- パフォーマンス：海外との往復2段を解消し、初回応答までの時間を中央値で約37%短縮（2,858ms → 1,805ms）。
- 安全性を足しても速い：新規の PII ガードレールを経路に加えたうえでの改善です。
国内完結（データ・レジデンシー）と応答速度は、しばしばトレードオフとして語られます。今回の移行は、その両方を同時に前進させるものでした。
SolidChat代表・ソフトウェアエンジニア。AIスタートアップの創業メンバーとしてプロダクト開発から上場までを経験。現在は生成AIチャットボット『SolidChat』を開発・運営中。AIや自動化技術を活用したSaaS開発を得意とする。物理と数学書を読むのが好きで、毎朝30分間の読書を日課にしている。