トピックス

2018.10.05

【若手研究者紹介:009】計数工学科 数理第六研究室 鈴木 大慈准教授

経歴
2009年東京大学大学院情報理工学系研究科数理情報学専攻博士課程修了、博士(情報理工学)
2009年同専攻にて助教に着任
2013年より東京工業大学情報理工学研究科数理・計算科学専攻准教授
2016年10月より理化学研究所革新知能統合研究センター深層学習理論チームチームリーダー兼任
2017年より東京大学大学院情報理工学系研究科数理情報学専攻および工学部計数工学科数理情報工学コース・准教授
現在に至る

<研究について>
現在、人工知能という言葉がメディアで頻繁に取り上げられていますが、その背後には機械学習や統計学による多様なデータ解析のニーズがあります。増大する社会的ニーズに相まって、機械学習や統計学といった広い意味でのデータ科学には様々な問題が現れてきます。我々はこれらの諸問題に数理統計の理論や最適化理論を用いて挑んでいます。

機械学習利活用において常に問題となる事項の一つとして「過学習」の問題があります。これは偶発的な相関に大きく学習結果が引き寄せられ、本当の構造から大きく外れた推定をしてしまう現象です。我々の研究ではいかにして過学習を防ぎ、少ない観測数でより良い精度を達成できるかの数理的な研究をしています。この問題は特に高次元データで起きやすく、現在のデータ解析における大きな問題とされています。しかし、スパース性や低ランクテンソル構造といったデータの構造を利用することで過学習の問題を回避し効率的に学習することが可能になります。また、複雑なデータ間の構造をとらえるためにカーネル法と呼ばれる無限次元モデルを用いた手法も有用です。我々はこれらを利用することで精度の良い学習手法を構築し、その提案手法がある意味での最適性を満たすことを理論的に証明し、実応用に還元しています。

さらに、昨今のデータの大規模化に伴い、学習時間の高速化も重要な問題になっています。そのため我々は確率的最適化と呼ばれる枠組みを用いて高速な学習を実現させる方法を考案し、その提案手法の計算速度および最適性といった性質に理論的証明を与えています。

これらの理論研究を応用して、現在では深層学習の理論研究も行っています。深層学習は様々な応用で高い精度を出していますが、その理由についての理論的な理解は実はまだ未解明な要素が多いです。我々は数理統計や最適化の理論を用いて、この問題に取り組み、カーネル法の理論を援用して中間層のニューロン活性化に関する相関行列を見ることで汎化誤差が評価できるといった研究を行っています。理論的研究を通してモデル圧縮や新しい勾配ブースティング法の提案など実応用への還元を行っています。

現在、機械学習分野への注目度は過熱しています。例えば、機械学習のトップ会議であるNIPS2018ではレジストレーションチケットが販売開始から11分38秒で完売しました。当該分野は企業との関連も強く、ダイナミックな変化が起きています。過熱するブームの一方で、基礎からの堅実な研究も重要です。基礎理論の研究を通して新しい知的情報処理機構の開発につながることが期待されます。

<今後の抱負>
機械学習分野は社会的ニーズも強く、これからもまだまだ発展する分野だと思います。機械学習の周りでは産学を問わず様々な分野が交わり、同時に多くの問題が生まれてきています。今後も分野の垣根を越えていろいろな方々と交流しつつ、基礎から当該分野の発展に貢献していきたいと思います。

 

 

参考文献:
Taiji Suzuki: Fast generalization error bound of deep learning from a kernel perspective. The 21nd International Conference on. Artificial Intelligence and Statistics (AISTATS2018), Proceedings of Machine Learning Research, 84:1397-1406, 2018.

Taiji Suzuki, Heishiro Kanagawa, Hayato Kobayashi, Nobuyuki Shimizu, and Yukihiro Tagami: Minimax Optimal Alternating Minimization for Kernel Nonparametric Tensor Learning. The 30th Annual Conference on Neural Information Processing Systems (NIPS2016), pp. 3783-3791, 2016.

Atsushi Nitanda and Taiji Suzuki: Functional gradient boosting based on residual network perception. The 35th International Conference on Machine Learning (ICML2018), Proceedings of Machine Learning Research, 80:3819-3828, 2018.

Tomoya Murata and Taiji Suzuki: Doubly Accelerated Stochastic Variance Reduced Dual Averaging Method for Regularized Empirical Risk Minimization. The 31st Annual Conference on Neural Information Processing Systems (NIPS2017), 608-617, 2017.

鈴木大慈:『確率的最適化(機械学習プロフェッショナルシリーズ)』.講談社,2015年8月8日.

 

参考URL:http://ibis.t.u-tokyo.ac.jp/suzuki/