プレスリリース

シリコン光ニューラルネットワークによる深層学習アクセラレータを開発 ―光誤差逆伝播による学習加速に期待―


1.発表者:
竹中  充(東京大学 大学院工学系研究科 電気系工学専攻 教授)
唐   睿(東京大学 大学院工学系研究科 電気系工学専攻 特任助教)
大野 修平(研究当時:東京大学 大学院工学系研究科 電気系工学専攻 修士課程)
トープラサートポン カシディット(東京大学大学院工学系研究科 電気系工学専攻 講師)
高木 信一(東京大学 大学院工学系研究科 電気系工学専攻 教授)

2.発表のポイント:
◆リング共振器をクロスバーアレイに配置したシリコン光回路を用いて光ニューラルネットワークを実現し、推論や学習が行える深層学習アクセラレータを開発。
◆光回路上で光誤差信号を逆伝播させることで、学習加速が可能。
◆シリコン光回路を用いた高速かつ低消費電力の推論や学習の可能性を示すことで、人工知能(AI)技術の発展に貢献すると考えられる。

3.発表概要:
東京大学大学院工学系研究科電気系工学専攻の竹中充 教授、唐睿 特任助教、大野修平 大学院生(研究当時)、トープラサートポン・カシディット 講師、高木信一 教授らは、JST 戦略的創造研究推進事業の助成のもと、リング共振器(注1)をクロスバーアレイ(注2)状に集積した新方式のシリコン光回路を用いた光ニューラルネットワークの実証に成功しました。複数の波長を束ねた光信号を光回路に入力することで推論に必要な積和演算が可能であり、分類問題で高い正答率が得られることを示しました。加えて、異なる方向から誤差に相当する光信号を入力することで、光回路上での誤差逆伝播を用いた学習計算の加速が可能であることも明らかにしました。
これまで報告されたシリコン光回路を用いた光ニューラルネットワークは推論用途が主であり、学習向けの光回路方式は確立していませんでした。本成果では、同じ光回路上で、推論および学習を可能とするものであり、Society5.0社会を支える人工知能の性能を大幅に発展させることが期待されます。
本研究成果は、2022年7月22日(米国東部夏時間)に米国科学誌「ACS Photonics」のオンライン版に掲載されました。
本研究は、JST戦略的創造研究推進事業(CREST)(グラント番号:JPMJCR2004)の支援により実施されました。

4.発表内容:
<研究の背景・先行研究における問題点>
近年、人工知能(AI)技術が急激に進展しており、様々な分野への応用が広がっています。それに伴い、AI技術に求められるコンピューターの演算能力も指数関数的に増加しています。これまでコンピューターの性能は半導体微細化、いわゆるムーアの法則に従って向上してきました。しかし半導体微細化による性能向上が鈍化傾向にあるとともに、AIに必要とされる演算能力はムーアの法則を超えて増加しています。このため、半導体微細化に依らない新しいコンピューティング技術の模索が世界中で進められています。
このような背景のもと、シリコン光回路を用いた光ニューラルネットワークによる深層学習アクセラレータの研究開発に注目が集まっています。光演算により、推論に必要となる積和演算を高速・低消費電力・低遅延に実行可能であることから、半導体微細化に依らずAIの性能を大きく向上できることが期待されています。米国を中心として、複数のベンチャー企業が実用化に向けた研究開発を加速させています。
しかし、これまで提案・報告されているシリコン光回路上の光ニューラルネットワークは主に推論用途を想定しており、学習には使用できない課題が残っていました。AI技術の進展には推論に加えて学習も性能向上することが必須であり、シリコン光回路を用いた学習加速技術が強く望まれていました。

<研究内容>
以上の課題を解決するため、本研究では、リング共振器をクロスバーアレイに配置した新しいシリコン光回路を用いた光ニューラルネットワークを用いて、推論に加えて学習の加速も可能とする深層学習アクセラレータを提案し、実験結果によりその動作を実証することに成功しました。
本研究で提案した光回路の構成図を図1に示します。光演算部はシリコン光導波路(注3)をリング状にしたリング共振器がクロスバーアレイ状に配置された回路構成となっています。リング共振器は、特定の波長の光のみを入力方向とは垂直な方向に出力する特性を持っています。出力される光強度を電気信号で制御できることから、特定の波長の光に対してのみ重みに相当する値を掛けた積演算を実行することが出来ます。各行や各列において出力する波長が重ならないようにリング共振器をセットして、リング共振器に対応した波長の光を束ねた多波長信号をクロスバーアレイの左側から入力すると、行列Wの各行の成分と入力された光ベクトル信号xの積演算結果がクロスバーアレイの下側に出力されます。リング共振器から出力された積演算結果を含む多波長光信号を受光器で一括して電気信号に変換することで、最終的に行列Wとベクトル信号xの積和演算結果Wxを得ることができます。この積和演算結果を用いて深層学習の推論を行うことができます。一方、クロスバーアレイの上側から誤差信号に相当する多波長信号δを入力すると、推論時に用いた行列Wの転置行列W^Tとの積和演算結果W^T δがクロスバーアレイの右側に出力されます。誤差信号δと転置行列W^Tの積和演算W^T δは誤差逆伝播時の計算に用いられるものであり、学習に必要となる計算を光回路上での誤差逆伝播により得ることができます。これにより、同一の光回路を用いて、入力する光信号の向きを変えることで、推論および学習に必要となる演算を行うことができます。
図1に示した光回路をシリコンフォトニクス技術(注4)を用いて試作しました。試作したシリコン光回路のチップ写真を図2に示します。リング共振器クロスバーアレイに加えて、推論用信号および誤差信号を生成・入力する光回路、演算結果を電気信号に変換する受光器アレイなど、必要となるすべての素子を集積しました。
試作した光回路を用いて、推論と学習に必要となる積和演算を実行した結果を図3に示します。リング共振器クロスバーアレイに3つの異なる行列を設定して、推論用の積和演算Wxを実行したところ、所望の計算結果が得られました。一方、同じ行列を設定した状態で誤差信号を入力することで、学習用の積和演算結果W^T δを得ることに成功しました。試作した光回路を用いて光ニューラルネットワークを構築して、分類問題の推論を行った結果、93%という高い正答率を得ることに成功しました。また、誤差信号δと転置行列W^Tの積和演算W^T δを用いて学習を行うことで、学習計算を1000倍以上高速化できることを明らかにしました。

<社会的意義・今後の予定>
今回、リング共振器クロスバーアレイを用いた光ニューラルネットワークにより、推論に加えて、学習も光演算で行えることを明らかにしました。AI技術の進展に伴い、学習に必要となる計算量が指数関数的に増加していることから、今回の成果は、より高度なAI技術の進展を可能とすると期待されます。今後は、回路規模を拡大するとともに、化合物半導体と組み合わせて光回路の消費電力を大幅に低減することで、より一層の高性能化を目指します。

5.発表雑誌:
雑誌名:「ACS Photonics」(オンライン版:7月22日)
論文タイトル:Si Microring Resonator Crossbar Array for On-Chip Inference and Training of the Optical Neural Network
著者:Shuhei Ohno, Rui Tang, Kasidit Toprasertpong, Shinichi Takagi, and Mitsuru Takenaka*
DOI番号:10.1021/acsphotonics.1c01777
アブストラクトURL:https://pubs.acs.org/doi/full/10.1021/acsphotonics.1c01777

6.用語解説:
(注1)リング共振器
光導波路をリング上にした共振器。入出力となる光導波路と近接することで、入力された特定の波長の光のみを選択的に出力させることができる。
(注2)クロスバーアレイ
素子(本研究ではリング共振器)を格子状に配置し、共通の信号線(本研究では入出力用光導波路)で縦横に接続したもの。
(注3)シリコン光導波路
シリコンを矩形状に加工して光をシリコン中に閉じ込めることができる配線に相当する光の伝送路。
(注4)シリコンフォトニクス技術
薄膜のシリコン層がガラス状に貼り合されたSi-on-insulator(SOI)基板上にシリコン光導波路を用いて光回路を形成する技術。

7.添付資料:
fig1
図1 リング共振器をクロスバーアレイに配置した光回路を用いた深層学習アクセラレータの模式図。

fig2図2 試作したリング共振器クロスバーアレイを用いた深層学習用光回路。

fig3図3 試作した光回路を用いて演算した推論用および学習用積和演算結果。


プレスリリース本文:PDFファイル
ACS Photonics:https://pubs.acs.org/doi/full/10.1021/acsphotonics.1c01777