ニュース&イベント NEWS & EVENTS
同期理論で紐解くリカレントニューラルネットワークの予測機構と新学習法の提案
~ニューロンの状態から何を読み取り、カオスを予測しているのか?~
研究の要旨とポイント
- 同期ダイナミクスに関する数学理論を応用し、リカレントニューラルネットワーク(RNN)によるカオス時系列予測の仕組みを数理的に解明しました。
- 近年数学的に証明された一般化同期写像を用いて、予測の“正解読み出し写像”を調べました。その結果、RNNの学習法の一つであるリザバーコンピューティングが、この写像の線形(1次)近似に対応することを示しました。さらに、2次・3次の近似を含む“一般化読み出し”を用いた新たな学習法を提案しました。
- 気象予報に由来するカオス時系列予測のタスクにおいて、提案手法を導入することで予測精度および安定性(ロバスト性)が大きく向上することを示しました。
研究の概要
東京理科大学 理学部第一部 応用数学科の犬伏 正信准教授、同大学大学院 理学研究科 応用数学専攻の大久保 茜氏(2024年度 修士課程1年)の研究グループは、同期ダイナミクスに関する数学理論(力学系理論, *1)を応用し、リカレントニューラルネットワークの予測機構を解明しました。さらに、この知見に基づく新しい学習法をリザバーコンピューティングの枠組みに導入することで、カオス時系列予測の精度とロバスト性(安定性)が大幅に向上することを明らかにしました。
リザバーコンピューティング(RC)は、リカレントニューラルネットワークの学習法の一つで、ニューロン状態の線形結合によって構成される出力層のみを学習の対象とします。近年、時系列データの予測や非線形システムのモデリングにおいて驚くべきRCの性能が報告されています。他の学習法に比べて大幅に簡素化されているにもかかわらず、なぜRCがこれほど効果的なのかという基本的な問いは、未だ解明されていません。
本研究では、力学系理論における一般化同期写像を応用することで、この問いに答えるための鍵となる写像(”正解読み出し写像”)を明らかにしました。この写像は予測値をニューロン状態から読み出す際の「正解(ターゲット)」に対応します。論文中では、従来のRCの枠組みがその写像の線形近似であるという解釈を与え、さらにその2次・3次の近似を含む『一般化読み出し』を用いた学習法を提案しました。気象予報に由来するカオス時系列予測のタスクにおいて、提案手法を導入することで予測精度およびロバスト性が大きく向上することを、数値実験を用いて示しました。
本研究成果は、2024年12月28日に国際学術誌「Scientific Reports」にオンライン掲載されました。

研究の背景
脳の神経回路網は神経細胞で構成されており、その細胞間ではシナプス結合を介して情報伝達が行われています。この神経回路網は数理モデルで表現され、リカレントニューラルネットワークなど、さまざまな手法が機械学習分野で提案されてきました。RCは、他の機械学習手法と比べて単純な構造をしているにもかかわらず、カオス時系列予測などのタスクにおいて優れた性能を発揮します。この謎を解くために、力学系理論をはじめとする数学的観点から多くの研究がなされてきました。特に、ニューラルネットワークそれ自体を力学系として見た際、学習対象となる力学系との間に存在する一般化同期写像は、RCの学習性能の謎を解く鍵と考えられます。
研究結果の詳細
本研究では一般化同期写像を応用し、ニューロン状態から予測値への読み出しに対応する正解の写像を理論的に明らかにしました。従来のRCをこの写像の1次近似であると解釈すると、2次や3次など高次で近似することができれば写像をより正確に表現できることが期待できます。このようなアイディアのもと、RCの枠組みの中でニューロン状態を非線形に結合する『一般化読み出し』を提案しました。特に2次と3次の近似に対応する読み出しについて、気象学に由来するカオス時系列を予測するタスクを用いて従来法と比較しました。その結果、予測精度の向上やカオス力学系のモデル化がロバストに可能であると示唆され、それらを定量的に評価しました。また、一般に従来手法はニューロンの数が多い場合に高精度な予測が可能ですが、提案手法はニューロン数が少ない場合でも安定して予測が可能であることが示されました。
※本研究は、日本学術振興会(JSPS)の科研費(22K03420, 22H05198, 20H02068, 19KK0067)による助成を受けて実施されました。
用語
*1 力学系理論:
現象の時間経過を記述する数理モデル(微分方程式や写像)の性質を調べるための数学理論。カオスのような複雑な振る舞いや、複数の数理モデルの状態間で起こる同期現象を解析する際に有効である。
論文情報
雑誌名
Scientific Reports
論文タイトル
Reservoir Computing with Generalized Readout based on Generalized Synchronization
著者
Akane Ohkubo and Masanobu Inubushi
DOI
関連記事
-
2025.04.28
全結合型イジングマシンLSIシステム、容量と精度のデュアルスケーラブル化に成功
~社会のあらゆる組合せ最適化問題に挑む~研究の要旨とポイント クラウドと異なり、エッジ環境では電力や設置形態に制約があるため、問題の特性に応じて容量(スピン数)と精度(相互作用ビット幅)を最適化することが重要です。 今回、容量と精度の両方向に展開できる画期的なデュアルスケーラブル…
-
2025.04.25
科学研究費助成事業(特別研究促進費)に採択
本学が代表機関となり 2025年大船渡市山林火災の総合調査研究を実施今般、東京理科大学創域理工学研究科 国際火災科学専攻の桑名 一徳教授らの研究グループは、文部科学省による科学研究費助成事業(特別研究促進費) に採択されました。 採択された研究課題「2025年大船渡市山林火災の総合調査研究」は、本年2月に発…
-
2025.04.22
ガンダムカラーの環境センサー(TEM)が宇宙へ
~国際宇宙ステーション内の空気環境を測定する軌道上実証を予定~東京理科大学、高砂熱学工業株式会社、大和大学ほか6機関からなる「TEAM SPACE LIFE」(TSL)が開発した小型自律分散型環境センサー(TEM: TSL Environment Monitor)が、4月21日17時15分(日本時間)…