こんにちは！ 広報の北村有（ゆうゆう）です。GIGでは毎月さまざまなテーマで勉強会を開催しています。

今回は「ChatGPT（GPT-3）の仕組み」について、Workship事業部のAIエンジニア・坂本に解説してもらいました。

■登壇者プロフィール

坂本 昂輝（さかもと こうき）：バックエンドエンジニア。大阪大学大学院情報科学研究科修士課程修了。学生時代はネットワーク研究を行う。2018年8月にGIGに入社。

ChatGPT（GPT-3）とは？

坂本：
ChatGPT（GPT-3）は、人工知能研究所「OpenAI」が提供する、AIのことです。GPT-3と呼ばれるプログラムを元に動いています。

ChatGPTは、「InstructGPT」と呼ばれるモデルを、対話に特化させたものです。InstructGPTは、とても賢いプログラムであるGPT-3を、扱いやすいようにチューニングしたものだと考えてください。アラインメント済み（人種差別や偏見などビジネス界隈で使うのに相応しくない表現などを排除する処理）で、RLHF（Reinfordement Learning Human Feedback）と呼ばれる強化学習機能で、どんどん賢くなります。

画面右側にあるチャット欄で、どんどん質問を繰り返していけば、溜まったデータによってみるみるうちに学習していく仕組みです。

坂本：
GPT-3（Generative Pre-trained Transformer-3）とは、ざっくり言ってしまうと「文章の続きを生成してくれるモデル」です。3000億単語にも匹敵する、600GBものテキストデータを保有しています。「Scaling Law」は、このテキストデータが増えれば増えるほど優秀になる法則のことです。

GPT-3の仕組み

坂本：
GPT-3の仕組みとして、ざっくり上記画像のような5つの過程に沿って処理されています。まずは「文章をコンピュータにわかるように変換」します。

坂本：
たとえば「私は可愛い猫が」という文章があったとして、この文章をコンピュータにもわかるよう「2進数」のベクトルに変換するんです。ただ、単語のほとんどは「0」に変換されるため、無意味な計算が大量発生してしまいます。そのため「サイズを圧縮」します。

坂本：
文章を2進数に変換すると、ほとんどが「0」に変換されるため、計算量も膨大になりますよね。上画像のように、8次元から2次元にサイズを圧縮し、計算しやすくします。そして、下画像の要領で、文章中にある単語それぞれに「位置情報」をつけていくんです。単語が何番目にあるかをマーキングしていくイメージですね。

単語に番号をつけたら、着目単語をランキング化します。たとえばInstagramから抽出したデータを元にすると、「可愛い」が1位、「猫」が2位にランクインする、といったような感じです。

坂本：
こうやって順番づけされた、過去の膨大な学習データに基づいて、「この単語の次はどの単語がくるか」を予測しています。ニューラルネットワークと呼ばれる、脳のニューロンとシナプスの関係を数式で表したものを活用し、次々と学習→抽出を繰り返しているんです。

坂本：
実際にChatGPTで「私は可愛い猫が」と入力したら、「好きです」と出て感動しました。ただ、ChatGPTを使うときには注意点があります。Google検索などのように、情報を調べる意図で使用すると虚偽の内容が出力される場合があるため、注意しましょう。

GIGではGood is goodなチームを築ける仲間を募集しています！

今回の勉強会では「ChatCPTの仕組み」について詳しくお話いただきました。どんどん進化していくAIと、上手く付き合っていけるようになりたいですね。

現在、GIGでは「一緒に学びながら成長していきたい！」と意欲のある仲間を募集しています。興味のある方は下のボタンからお気軽にご連絡ください！

北村 有（ゆうゆう）

フリーライター。株式会社GIG メディア事業部所属、広報担当。 休日は映画やドラマを見たり、美味しいスイーツを求めて街をさまよったりしています。