Azure OpenAI Serviceを活用し「デパサポAIチャット」を開発

デバサポAIチャットはKDDI株式会社ビジネスデザイン本部デジタルチャネル営業部デバイスサポートG（以下デバサポG）向けに開発された、セキュアに社内文章データを活用できるAIチャットです。

法人のお客さま向けスマートデバイスや提供サービスのラインナップ増加により、お客さま申告受付数は年々増加しています。年間数百件、月間平均数十件、各申告に対応する時間は長い場合で数日間必要になっていました。これらをサポートするデバサポGチームの対応負荷の増大が課題となっていました。

また、年間数百件の申告のうち、申告受付時点で約38%が原因箇所不明か調査依頼先の誤りとなっており、初期対応の工夫によりサポート対応を効率化できる可能性がありました。

社内PoC（実証実験）として、デバサポGの課題解決につながるかどうか、今後ほかのお客さまの同様の課題解決に向けた商用提供も視野に入れて、デバサポAIチャットは企画・開発されました。

このAIチャットはスマートフォンやモバイルWi-Fiルータなどのデバイスの仕様や、過去のトラブルシュートを取り込んだAIチャットボットとなっており、トラブル内容をチャットに入力すると過去のナレッジデータから解決につながる情報をAIが回答します。

---

デバサポAIチャットはMicrosoft Azure(*3)を利用してアーキテクチャが設計されており、セキュアに社内文章を取り扱うために閉域化されたネットワーク上に構成されています。今回はPoCということでアップロード画面は設けず、Azureポータルから直接社内文書をアップロードする方式を採用しました。

AIチャットボットに取り込んだ社内文章・ナレッジデータ

今回PoCでは以下2種類の社内文書・ナレッジデータAIチャットボットに取り込みました。

1. 法人向けスマートフォンおよびモバイルWi-Fiルーターの取り扱い説明書です。それぞれ数百ページほどのボリュームのPDF形式のファイルです。
2. 法人のお客さまからの不具合申告の過去対応一覧・対応履歴・営業担当とデバサポG間のチャットなどを含むCSV形式のファイルです。過去に対応した不具合申告情報を約1,000件ほど取り込みました。

---

RAGによる社内文書検索のチューニング知見

AI活用において、社内文書検索やそこからの適切なサジェスチョンや回答というのは、特に期待されるところだと認識しています。商用提供の際もこの分野でのAI活用は需要があると見込まれ、今回の開発ではRAG(*4)による社内文書検索のチューニングについて知見強化を行いました。

まず、Azure OpenAI Serviceには1分あたりのトークンに上限があり、これをうまく処理する必要があります。デバサポAIチャットではこの上限を超過しないようにファイル分割したり、システム側でトークン数をあらかじめ計算してからAIに渡したりとAIのRate limitを回避するために試行錯誤しており、最終的にストレスなく社内文書を取り込めるように実装しています。また、トークン上限超過回避とあわせAIの回答精度を高めるためにデータの内容に冗長な物やノイズとなるものが含まれている場合は要約してから取り込むようにしました。

また、取り込んだ文章はインデックス化し、AIはそれを検索して内容を考慮したうえで回答できるようにしています。この回答の精度を上げようとすると、手法に明確な正解がなく地道に一つ一つの試行錯誤を繰り返して、精度向上のための手法の導入前後の回答を比較しチューニングすることが必要でした。これはとても手のかかる部分ですが、活用用途に合わせAIに適切な回答をさせるためには現状このようなきめ細かなチューニングが必要になるものと言えます。

その他、取り込んだ文章を格納していく際に業務に想定されるキーとなるデータを埋め込みAIがデータを検索する際にこのキーでフィルタリングして検索できるようにして精度向上を図ることも試みています。

PoCの結果

デバサポについては商用を見越した実証実験であったため、実際に該当部門に導入し、利用者から下記フィードバックを回収しました。

---

ポジティブなフィードバック

• 既存の方法よりもストレスが少なく業務遂行できるためユーザーの活用意欲が高かった。

• 特定のユースケースで業務活用に向いていると感じられた。例えば、過去事例の探索では現状のやり方と比較すると少ない手数で素早く情報を集められるため、ポジティブな評価を得た。

ネガティブなフィードバック

• 特定のユースケースで業務活用に不向きだと感じられた。例えば、原因切り分けではAIチャットボットが回答する情報が足りない・整合性が信頼できないというネガティブな評価を得た。

今後のユーザー体験向上・さらなる業務活用に向けた気づき

• 回答精度を求めてチューニングして入力方法をカスタマイズした結果、プロンプトの入力フォーマットが難解になり良い回答を引き出すのに慣れが必要だった。チャット初期画面で入力方法の説明や入力例を記載しているものの、ユーザーにはほぼ目に入っていなかったことがわかった。

• UX/UI観点での改善案としてチュートリアルやモーダル表示などの強制的に手を止めて入力方法を理解し慣れるためのUIが考えられる。

• 別のアプローチとして、ユーザーのプロンプト入力の負荷を下げるようなプルダウン形式のUIとするなど、業務内容に合わせて入力フォーマットを固定化する改善案も考えられる。

詳しいPoCの過程などはこちらからもご覧いただけます。

• 「作るものはもう決まってます」技術ドリブンの生成AI 短期PoC案件でUXデザイナーがどう関わったか
• https://note.com/kag_yonemichi/n/n98df02381b7b

• Azure&RAGアーキテクチャによるAIチャットボット(デバサポAIチャット)を作ってみてわかったこと(法人デバイスサポート業務活用PoC)
• https://developers.kddi.com/blog/29moPnzUaqSPJsu0v2pKg9

今回の検証の結果は実際に商用提供する際の重要なユーザーボイスとして捉えており、これらを足がかりとしながらより利用しやすいAIチャットへの調整を継続していきます。

Amazon Bedrockを活用し「ビジつく！」を開発

「ビジつく！」は「ビジネスをつくろう！」の略で、テーマを指定するだけでDX新規事業サービスのアイデアを作り出すためのプロダクトです。KAGとKDDI DIGITAL GATE(*5)で共同開発しています。

利用者は、テーマを指定しビジつく！から出てきたジョブ（課題）、アイデアの中から気になるものを選んでいくだけで、新規事業づくりを体験することができます。

この「ジョブ」のバリエーション設定というのは従来のように人の手で行うと意外に時間がかかったり、似たものになってしまってバリエーションが出ないといった課題がありましたが、生成AIに提案してもらうことでこの課題を解決しました。

---

---

また、ビジつく！の開発ではAWSより提供が開始されている生成AIサービス「Amazon Bedrock」を早期検証するということも目的の１つでした。そのため、サービスデザインにおいても、利用者の課題とあわせLLMの価値をうまく活かすことができるようにサービス設計されています。

---

上記のアーキテクチャ図の通り、ビジつく！はAmazon Bedrockを含めすべてAWSクラウドのなかで開発されています。AWSは習熟度の高いエンジニアが多く、またマネージドサービスが豊富なため、開発速度の担保や安定したサービスを作るうえで大きなメリットがありました。

アーキテクチャ的な観点では、AIからの応答に時間がかかる場合もあり、その際アプリが無応答となってしまうことを避けるため、非同期アーキテクチャを採用することで解決しています。

今回Amazon Bedrockでは、Anthropic社提供のClaude 2という基盤モデルを利用しています。Claudeは高性能かつコストパフォーマンスも良く、LLMのベンチマーク（Rakuda）でもClaude 2はOpenAI社のGPT-3.5とGPT-4モデルの間に位置する日本語性能と言われています。

その他、Amazon Bedrockに関連する実装でのティップスとしては、BedrockのAPIから返却される生成テキストをアプリケーションが処理しやすいようにJSON形式へ加工する必要があり、今回はLangChainに組み込まれているPydanticというパーサーを利用しています。このようにBedrockとOSS等のLLM周辺エコシステムを上手く組み合わせることによって自由度の高い生成AIアプリケーションを開発できることも学びとなりました。

ビジつく！の詳細についてはこちらでもご覧いただけます。

• 生成AI(Amazon Bedrock)を使ったサービスデザイン体験プロダクト「ビジつく！」を作ってみた
• https://note.com/kag_makishy/n/nda608a8baf50

• 宇宙最速!? を目指してAmazon Bedrockを本格活用したプロダクトを開発しました！
• https://developers.kddi.com/blog/44TMD1pcdiTqR2CMzrdpZo

本取り組みを通して、それぞれのプラットフォームにおける開発知見、またこれまでのプロトタイピングと合わせて生成AIの応答のタイムラグや、操作性などの認知的なストレス軽減課題などが明確になりました。KAG Generative AI Labは引き続き生成AIに関する先進的な取り組みを続けていきます。

• *1 ：Azure OpenAI Service
• Microsoft Azureのクラウド環境上で先進的なOpenAIのAI技術を利用できるビジネス向けの生成AIサービスです。エンタープライズレベルの高いセキュリティとスケーラビリティを提供します。
• https://azure.microsoft.com/ja-jp/products/ai-services/openai-service

• *2：Amazon Bedrock
• Amazon Web Services, Inc. により提供される、大手 AI 企業の高性能な基盤モデル（FM）を単一の API で選択できるフルマネージド型サービスの名称、及び商標・登録商標です。
• https://aws.amazon.com/jp/bedrock/

• *3：Microsoft Azureについて
• マイクロソフト社が提供するクラウドコンピューティングサービスの名称、及び商標・登録商標です。
• https://azure.microsoft.com/ja-jp/resources/cloud-computing-dictionary/what-is-azure

• *4：RAG（Retrieval Augmented Generation）
• RAG（Retrieval Augmented Generation）とはLLM（大規模言語モデル）の機能を拡張しAIからの回答精度を向上させるための手法です。
• AIは質問に対する回答を生成する前に、インターネットや特定のデータベースから関連する情報を検索します。この検索により得られた情報を質問内容に文脈として付加することで、AIが学習していない情報（社内情報等）を元に回答ができるようになります。また、AIが学習した情報からのみ回答する場合よりも、正確で詳細な内容を回答できます。

• *5：KDDI DIGITAL GATE
• KDDI DIGITAL GATEは日本の企業組織がデジタル変革を実現していくためのビジネス開発拠点です。お客さまの業務課題解決や新規事業創出といったDX推進をサービスデザインワークショップやプロトタイプ開発等のアジャイル型企画開発手法を用いて強力に支援します。
• https://biz.kddi.com/digitalgate/

KAG Generative AI Labについて

KAGでは社内の生成AIに関する理解の向上、技術力向上を目的とし、これらを短期的に集中して行うために今年5月よりKAG Generative AI Labをつくり活動を進めています。

KAG Generative AI Labの目的
・社内の生成AIに関する理解の向上を推進する
・社内の生成AI活用のための技術力の向上を推進する

KAG Generative AI Labの主な活動
・生成AIの理解
・生成AIに関連するセキュリティや法律などの周辺情報の理解・知識獲得
・生成AIの実践的な活用に関する技術情報の理解・知識獲得
・生成AIを活用するための開発環境の整備

KAG Generative AI Labは当面は社内向け組織として活動し、KAGの生成AIに関連する知識・技術力を向上させることで、お客さまに対する価値貢献へと繋げていきます。

KAG Generative AI Labに関するそのほかのプレスリリース

KAG Generative AI Labにより生成AIを活用しコーディング業務を約38％ 短縮
https://prtimes.jp/main/html/rd/p/000000007.000115171.html

【Microsoft Teamsなどの既存プロダクトに生成AIを導入】KDDI社員1万人が利用できるKDDI AI-Chat for Teams を開発
https://prtimes.jp/main/html/rd/p/000000008.000115171.html

■KDDIアジャイル開発センター株式会社の概要

会社名：KDDIアジャイル開発センター株式会社
主な事業内容：アジャイル開発事業及び保守事業
設立年月日：2022年5月12日
本店所在地：東京都港区虎ノ門⼆丁⽬10番1号
代表取締役社長 / CEO：⽊暮 圭⼀
Webサイト：https://kddi-agile.com

本ニュースリリースに関するお問い合わせ先
KDDIアジャイル開発センター株式会社
担当：豊嶋（E-mail：pr@kddi-agile.com）