028-24

第28回研究会

事前学習と追加事前学習による金融言語モデルの構築と検証†

著者†

鈴木雅弘, 坂地泰紀, 平野正徳, 和泉潔(東京大学)

概要†

本研究では決算短信や有価証券報告書を用い、言語モデルのBERTとELECTRAについて、事前学習や追加で事前学習(追加事前学習)を行いモデルを構築する。構築したモデルについて、金融ドメインのタスクによって汎用コーパスを用いたモデルとの性能を比較する。その際、ファインチューニングを行う層の数などパラメーターによる性能についても比較を行う。構築した一部のモデルについては一般に公開する。

キーワード†

事前学習モデル, 追加事前学習, 自然言語処理, BERT, ELECTRA

論文†

24_SIG-FIN-28.pdf