ChatGPTキーワード技術を解読! AIの会話能力をトレーニングする方法とは?

【図解】ChatGPTキーワード技術を解読! AIの会話能力をトレーニングする方法とは?
言語モデルそのものの応用とは別に、いかに催眠をかけてChatGPTを誘導し、思う通りの結果に導くかというところに、もう一つの商機があるのです。

目次

ChatGPTは、わずか5日間で100万人以上のユーザーを獲得しました。
いかに技術を磨いたのか、研究者や業界関係者、今後のビジネスチャンスはどこにあるのか、この記事を読めばChatGPTを一度に理解することができます。

人々は常に AI が世界を支配すると危惧してきました。「マトリックス」、「ブレードランナー」、「ウェスタン エリシオン」、「ブラック ミラー」シリーズはどれも名作ですが、これらの流行の引き金となったのがチャットボットだとは誰が予想したでしょうか。

AI研究所であるOpenAIは、自然言語生成モデルGPT-3.5に基づくChatGPTを使用して、超人的な応答を通じてグローバルメディアを席巻するチャットボットを作成し、あらゆる問いかけに対して非常に高い精度の回答を提供します。世界中のメディア報道やSNSでの拡散の結果、わずか5日間で100万人以上のユーザーが登録しました。 マサチューセッツ工科大学メディアラボの研究科学者であるケイト・ダーリング氏は「Google、Facebook などによって開発されている大規模な言語モデルとともに、この種の生成AIは常識を覆しました。」と述べます。

では、ChatGPT、GPT-3.5 の背後にある主要なテクノロジーは何であり、どのようなことができるのでしょうか?
NLP (自然言語処理) を研究する教授やNLPを出発点とする起業家は、新しい時代についてどのように考えているのでしょうか?

ChatGPT はどれほどすごいのか? チャットボットの人気に迫る!

GPT-3.5(OpenAIはGPT3.5のデータをまだ公開しておらず、現時点ではGPT-3のバージョンアップとされています)はChatGPTのベースであり、2017年にリリースされたGoogleの自然言語処理モデルTransformerが元となっています。

簡単に言うと、Transformerは数学を通じてルールを見つけるため、これまでの人手に頼る「タグ付け」が必要だったAIトレーすニングプロセスに対し、タグ付けされていない大量のテキストデータを投入するだけで学習し大幅な省人・省資源を実現します。 

2021年にスタンフォード大学が発表した論文において、研究者はTransformerモデルをAIのパラダイム シフトとなる「基本モデル」と呼んでいます。

GPT-3がTransformerを新たな高みに引き上げることのできる理由の1つは、数字が大きければ大きいほど優れていると言われているパラメーターが1750億もあることです。処理能力と公開時間に関係するこの数字がどれほど大きいかというと、GoogleのTransformerベースの言語モデルBERTのパラメーター量は3億4000万、もう 1 つの有名な言語モデルELMoのパラメーター量は9400万で、GPT-3がいかに巨大であるかがわかります。

ChatGPTはGPT-3をベースにGPT-3.5に進化させたもので、ウィキペディア、記事、論文、書籍などの大量のテキストデータを入力した後、次の文、単語 (または英語の語彙) はどうあるべきかを推測する「テキストソリティア」を開始します。

例: 「ピカチュウは何色ですか?」 という質問には正解があり、「黄色」が続く必要があります。 言語モデルが間違って答えた場合、「教師」としてトレーニングする研究者が正しい答えを入力し、標準的な答えで答えるように教えます。 モデルは、トレーニングの連続サイクルで、研究者の行動パターンを学習し始めます。

image
(写真)Aielloの共同創業者兼CEOである沈書緯氏は、ChatGPTがNLPの分野に転機をもたらしたと語る。

ChatGPTはどのように成り立っているのか? 4つのステップを分かりやすく解説

https://www.bnext.com.tw/article/73508/all-about-chatgpt-2023

膨大な数のパラメータと人間による微調整により、ChatGPTはほとんどあらゆる種類の質問に答えることができ、詩やエッセイ、メール、要約など文字に関する言語の生成ならば簡単にこなすことができるでしょう。

OpenAIが初めて単なる新しい言語モデルではなく、誰でも使える「製品」として登場したことで、業界で大きな話題を呼びました。

学術的な観点から、機械学習や意味理解を主な研究テーマとする国立台湾大学電気工学科の李宏毅教授は、OpenAIのGPT-3とChatGPTは「概念上の革新」をもたらすと見ています。

これまで、言語モデルはさまざまな用途に合わせて特別な微調整をしなければならないと考えられていました。 翻訳のための言語モデル、記事を書くための言語モデル、手紙を書くための言語モデルは、それぞれ異なる微調整が必要です。 例えば、Google社のチャットボット「LaMDA」は、より良い会話タスクを完了するために、感情分析や会話状態管理などのアプリケーションと調整を取り入れています。

「GPT-3 はすでに非常に優秀ですが、人間によるトレーニングによって、特別な微調整をしなくても翻訳や論文作成、プログラム作成などの応用が可能になるでしょう。格闘技において、基礎的な知識を得た一般人が、試合を一度見ただけであらゆる格闘技の技がわかってしまうのと同じことです。」と李宏毅氏は語ります。

ChatGPTのビジネスチャンスとは?接客業に取って代わる?

ChatGPTの実績が話題になったことで多くの人が言語モデルのさまざまな応用やビジネスチャンスについて議論するようになり、業界関係者の視点でも、どこにチャンスと課題があるのかがより明確に理解できるようになりました。

NLPベースの技術を中核とし、ホテル宿泊客の質問に答えることができるスマートスピーカー「Aiello音声アシスタント(AVA)」を開発している「Aiello」は最前線でGPT-3とChatGPTを研究してきました。「Aielloは1年以上前にGPT-3言語モデルのライセンスを取得し、ChatGPTの兄弟モデルInstructGPTも研究してい他ので、ChatGPTのパフォーマンスに驚きはありませんが、やはりユーザーフレンドリーな回答は、今までにないクオリティで驚かされますね。 2019年にスタートしたとき、NLPは今後5年間で非常に早く成長すると予測していましたが、まさかそのターニングポイントが今週(ChatGPTが初めて紹介されたとき)だとは思ってもいませんでした。」とAiello共同設立者兼CEOの沈書緯(Vic Shen)氏は語ります。

「ビジネスにおいては、接客や質疑応答、アシスタント機能などにGPT-3モデルを利用している企業が多くありますが、完全なソリューションではありません。”GPT-3 “の技術を採用している企業は海外にも多く、現時点では複数のモデルを複合的に使用しているところが多いように見受けられます。」と、Aielloの共同設立者兼最高技術責任者の馬世英氏は述べています。

GPT-3にテキストを入力し、その結果を出力するたびにコストがかかるため、現在OpenAIが全ユーザー向けに公開している最強の言語モデルDavinciは0.02ドルで750語(英単語)を処理でき、ユーザー数が確実でなく入力できる単語数に制限がない場合、累積コストの算出は困難であるとされています。

Aielloを例として挙げると、弊社製品が扱う問い合わせ件数は月間100万件を優に超えており、最先端の言語モデルを使用するためには相当なコストがかかります。「そのため、さまざまなタスクに向き合い、異なる言語モデルを切り替えることを学ばなければならず、企業にはより高いスキルが求められます。」馬世英氏は語ります。

ChatGPTはチャットボットの接客に劇的な変化をもたらしてくれると思うかもしれませんが、「銀行は何時に開くのか」「出金上限額はいくらか」といったシンプルなQ&Aであれば、必ずしもコストのかかるGPTシリーズが必要なわけではありません。

chatgpt
写真提供: https://openai.com/blog/chatgpt/

AIにいかに「催眠」をかけるかが、大きなビジネスチャンスへと繋がる

言語モデルそのものの応用とは別に、いかに催眠をかけてChatGPTを誘導し、思う通りの結果に導くかというところに、もう一つの商機があるのです。

では「催眠」とはなんでしょうか?

ChatGPTはすでにほとんどの質問に答えることができますが、特定の業界の顧客対応に使う場合は「以下の回答は○○銀行の業務ルールに基づいて行います」「ポケモン図鑑のコンテンツを始めるため、質問への回答はポケモンの世界のルールに基づいて行います」などといった事前の準備が必要になります。
これは非常に簡単な例ですが、今では複雑な応用もできるようになっています。例えば催眠を用いてRPGの文字を作成し、作業システム内に組み込むなど,ChatGPTはヒントさえあれば想像を超えるようなことができるのです。前述したようにGPT-3は基礎能力が非常に高いので、使い手次第で多くのポテンシャルを引き出せます。

「”GPT-3で『催眠』をかけて文字を作成することで生まれてくるビジネスチャンスも今後出てくるでしょう。学会でも『催眠術師』と呼ばれるような人が次々と現れ、GPT-3を電話接客などのサービス用に催眠する方法、あるいはChatGPTに催眠するための専用の新たな言語モデルなど、少し言葉を変えるだけで『催眠』の結果は全く違ってきます。」と李宏毅は語ります。

言語モデルを柔軟に切り替えて催眠術を学習する以外にも、言語モデルの計算能力を加速させるためのハードウェア設計や、より少ないデータで同じ結果を得る全く新しい言語モデルなどにも、多くのビジネスの可能性があります。

「私たちが言語モデルのゴールに到達するのはまだ先のことでしょう。なぜなら人間はそれほど多くの情報を必要とせずともChatGPTより良い結果を出すことができるからです。突破口は、現在あるモデルへの理解を深めることにあります。AIというものはまだブラックボックスのようなものなので、今後脳科学者のように多くの研究者が解剖していくことになることを期待しています。」と李宏毅氏は語ります。

ただ、沈書緯氏が述べたように、ChatGPTは予想以上に早く転機を迎えており、次の転機もそう遠くはないかもしれません。「本当に楽しみなのはGPT-4です。間違いなく『爆弾級』のインパクトを持っているでしょう。」
AIやメガ言語モデルは、確かに私たちの生活を変えつつあります。未来を把握し、未知のものに直面するとき、人間は常に多くの会話を必要とします。人同士の会話だけではなく、ChatGPTとの会話も例外ではなくなってくるでしょう。

元記事はこちらから

ホテルの会話型AIソリューションについてもっと知りたい場合は 私たちのチームにお問合せください。 2営業日以内に返答いたします。 

無料トライアルを予約する

AIソリューションについてもっと知りたい方はぜひオンラインでの無料トライアルをご体験ください!