[No.104]フィンテック向け”ChatGPT”、ブルームバーグは金融情報処理に特化した大規模言語モデルを開発
gdep金融情報サービス企業ブルームバーグ(Bloomberg)は、独自の大規模言語モデル「BloombergGPT」を開発した。
これはChatGPTのコンセプトをフィンテックに適用したもので、金融情報を解析するために使われる。
ChatGPTは汎用的な言語モデルであるが、BloombergGPTは金融情報処理に特化した構造で、AIが銀行業務に関するドキュメントを解析する。(下の写真、ブルームバーグは証券取引に関する情報を配信。)
BloombergGPTの構造
「BloombergGPT」は、名称が示している通り、大規模言語モデル「GPT」をベースとし、ブルームバーグの金融タスクを実行する専用AIとなる。
GPTとは「Generative Pre-Trained」の略で、「プレ教育」した生成型AIを意味する。
生成型AIは「Transformers」というモデルを使っており、OpenAIはこれをプレ教育して「ChatGPT」や「GPT-3」などを開発した。
BloombergGPTの機能
これに対して、ブルームバーグはプレ教育された生成型AIを使い、このモデルを大量の金融データで教育し、専用GPTである「BloombergGPT」を開発した。
ブルームバーグは金融情報企業で、40年にわたる大量の金融関連データを保有しており、これを使ってアルゴリズムを教育した。
これにより、BloombergGPTは金融に関する知識を獲得し、フィンテック市場で最も高性能なAIを生み出した。
利用方法
BloombergGPTは銀行業務などで金融情報を解析するために使われる。
BloombergGPTは「デコーダー(Decoder)」というモデルで、入力されたテキストを解析し、そこに潜んでいる知識を引き出すために使われる。
具体的には、入力されたテキストから、感情分析(Sentiment Analysis)、固有名詞の抽出(Named Entity Recognition)、質疑応答(Question Answer)などのタスクを実行する。
これらは金融自然言語処理「Financial NLP」という機能で、多くの銀行で使われているが、BloombergGPTはこの処理で世界最大の精度を示した。(下の写真、金融関連記事を入力し、BloombergGPTがタイトルを生成する事例。)
システム構成
BloombergGPTはオープンソースの大規模言語モデル「Bloom」をベースに開発された。
Bloomは一般に公開されており、このモデルを大量の金融データで教育した。
ブルームバーグは教育のための大規模なデータベースを構築した。デーやベースは、金融関連データと一般データで構成され、それぞれの規模は：
- 金融関連のデータベース：3,630億トークン
- 一般情報のデータベース：3,450億トークン
トークンとは自然言語処理の最小単位を示し、ここでは単語の数となる。
このように、BloombergGPTは合計で7,000億超のトークンで教育された大規模モデルで、金融処理に特化したAIであるが、一般情報を処理する機能を兼ね備えていることが特徴となる。
オープンソース「Bloom」とは
「Bloom」はオープンソース団体Hugging Faceにより開発された大規模言語モデルで、1760億個のパラメータから構成され、59の言語を処理する機能を持つ。
OpenAIが開発した「GPT-3」は1350億個のパラメータから成るが、これを上回り世界最大規模のオープンソースAIモデルとなる。
Hugging FaceはBloomをオープンソースとして公開しており(下の写真)、企業や大学などが利用している。
ブルームバーグはBloomをベースに、これを改造し、金融処理に特化したモデルを構築した。
ベンチマーク結果
BloombergGPTは言語処理のベンチマークで好成績を示した。
BloombergGPTは金融タスクに特化した構成であり、金融処理でトップの成績を示した。(下のグラフ上段)。
また、一般情報で教育されたモデルでもあり、汎用ベンチマークでOpenAIのGPT-3に次ぐ性能を示している。(下のグラフ下段)。
BloombergGPTは一般的な言語処理で高度な性能を示し、これが金融処理で生かされていると考えられる。
業種に特化した”ChatGPT”
BloombergGPTは大規模言語モデルの将来動向に関し重要な指標を示した。
OpenAIが開発するChatGPTは、特定の業種に特化することなく、汎用的にタスクを実行するモデルとなる。
これに対し、BloombergGPTはファイナンスに特化したタスクを実行する構造で、フィンテック向けの専用モデルとなる。
業種に特化すると、小さいモデルでも高度な性能を示し、この方式が注目されている。
これからは、金融だけでなく、医療や教育やEコマースなど、業種に特化した”ChatGPT”の開発が進むと考えられる。
