メドメイン、病理AI開発/深層学習（Deep Learning）を高精度に高速化する転移学習（Transfer Learning）の基盤技術の創出に成功

カテゴリ

新製品・新技術

情報提供元

メドメイン株式会社

デジタル病理支援ソリューション「PidPort」を提供するメドメイン株式会社 (以下 メドメイン)は、Batch norm parameterを調整することで、効率的に転移学習を行うことができることを明らかにし、Deep Learning（深層学習）における基盤技術の創出に成功した。

本研究成果の概要

転移学習（Transfer Learning）において、Batch Normalization layerのうち、学習可能な重み（weight）の「ScaleとCenter」のみを微調整するだけで、すべての重み（weight）を微調整した時と同様の精度が得られることが判明し、Deep Learningの高速化が可能になった。

本研究の背景

転移学習（Transfer Learning）とは、任意の領域で学習したモデルを別の領域に応用し、効率的に学習させる方法のことである。

従来の方法では、深層学習（Deep Learning）を完了させるまでに、まとまった時間と費用を要していたが、転移学習を行うことで、学習時間の短縮や必要なデータ量の削減など、費用対効果の得られた学習を行うことが可能になる。

Batch Normalizationは2015年に提唱された。アクティベーションが広がりのある分布になるようにすることで勾配消失による学習停滞を防ぐ手法で、Batch Normalizationには、学習高速化、過学習抑制、初期値の影響を抑制など利点が数多くある。

Batch Normalizationをどのタイミングで行うかについては、多くの研究や議論がされているが、活性化関数の直前あるいは、直後で行うことが主流とされている。

また、病理画像をはじめとする医用画像に深層学習を適用する際には、ImageNetからの転移学習が有力な手法である。

今回の研究の目的は、医用画像を効率的に深層学習させる手段として転移学習を応用する場合、Batch Normalizationおよびパラメータ調整の重要性について基礎的な視点から研究し、技術開発に応用できる知見を得ることにある。

本研究の内容と成果

本研究では、医用画像の転移学習において、公開データセットを用いることで、Batch norm layerのAffine parameterの影響を確認した。

その結果、「1．Batch Norm Affine parameterを微調整するだけで、すべてのパラメータを微調整した場合と同等の精度が得られること」、「2．微調整することで、モデルを特徴抽出器として用いるよりも良い精度が得られること」、「3．ランダムな重みを用いてBatch Norm parameterのみを学習させることで、十分な精度が得られること」が判明した。

これにより、学習済みモデルを効率的に転移学習させることで、高精度かつ迅速に深層学習モデルの開発ができる方途を見出すことができた。今回の基礎的な技術開発研究を生かし、今後の深層学習モデルの開発に応用していく。

また、本研究の内容は、2021年7月9日に、国際学会であるMedical Imaging with Deep Learning（MIDL2021）(https://2021.midl.io/)において、「Transfer Learning and Domain Adaptation」のセッションで口頭発表される。

■原著論文（WEB上での事前公開）
・論文タイトル：Partial transfusion: on the expressive influence of trainable batch norm parameters for transfer learning (https://openreview.net/forum?id=TjwDWRdfZpg)
・日本語訳：転移学習（Transfer Learning）におけるBatch Normalizationの理解と技術開発

■著者・所属
常木 雅之／Fahdi Kanavati
メドメイン株式会社

関連先リンク：https://medmain.com/