ニューラルODEの同時最適化による完全離散化学習

（Training Neural ODEs Using Fully Discretized Simultaneous Optimization）

田中専務

拓海先生、最近部下から「Neural ODEが……」と聞いて困っているのですが、そもそも何ができる技術なのですか。

AIメンター拓海

素晴らしい着眼点ですね！Neural ODEは「連続時間の変化をニューラルネットで表す」技術です。工場の連続的な振る舞いや設備の挙動を、物理式ではなくデータから表現できるんです。

田中専務

なるほど。でも部下が言うには学習にすごく時間がかかると。現場に導入するには投資対効果が不安です。

AIメンター拓海

大丈夫、一緒に整理できますよ。要点は3つです。1) 従来は逐次的に微分方程式を解きながら学習しているため遅い、2) その代わりに同時最適化で一気に解くと速くなる可能性がある、3) さらに分割して並列化すれば現場への適用が現実的になりますよ、という話です。

田中専務

これって要するに、シミュレーションを都度回して学習するのではなく、シミュレーションの方程式と学習パラメータをまとめて最適化するということですか。

AIメンター拓海

その通りです！さらにこの論文は「コロケーション（collocation）」という時刻をまとめて近似する手法で微分方程式を離散化し、IPOPTという大規模非線形最適化ソルバーで同時に最適化しています。簡単に言えば、時間軸をブロックにして一度に解くやり方です。

田中専務

へえ。で、それは本当に速くなるのですか。現場のデータで試した例はありますか。

AIメンター拓海

素晴らしい問いですね！論文ではバン・デル・ポール振動子（Van der Pol Oscillator）をケーススタディにして従来手法より速く収束することを示しています。さらにADMMという分散最適化の考え方でバッチごとに分けて並列処理できる枠組みも提案しています。

田中専務

ADMMって分散処理のための方法でしたね。これを使えば段取り良く現場に分散導入できる可能性があると。

AIメンター拓海

まさにそうです。まとめると、1) 同時最適化は学習ループのオーバーヘッドを削減できる、2) コロケーションは時間全体を高精度に近似できる、3) ADMMで並列化すれば工場データでも実用的になる、という期待がありますよ。

田中専務

分かりました。自分の言葉で言うと、「時間方向を丸ごと拾って一回で解くから早くなる、分割して並べば現場でも回せる」ということですね。