Integration of Programmable Diffraction with Digital Neural Networks

Citation

Md Sadman Sakib Rahman and Aydogan Ozcan, "Integration of Programmable Diffraction with Digital Neural Networks", ACS Photonics 2024 11 (8), 2906-2922

DOI: 10.1021/acsphotonics.4c01099

License

以降，引用記法を用いる図表および英文は，上記ライセンスに基づいて元論文を引用しています．引用記法を用いる日本語はLLM出力です．

NotebookLM

「プログラム可能な回折計算」と「デジタルニューラルネットワーク」を統合したハイブリッドな光学およびデジタル情報処理システムの進歩に焦点を当てた展望記事です。従来の回折光学プロセッサが主に人間の視覚に合わせて最適化されていたのに対し、近年では深層学習とデジタルニューラルネットワークと「共同で最適化」されるハイブリッド型プロセッサの開発が進んでいます。この新しいパラダイムは、アナログ情報を持つ入力電磁波と、デジタル化された情報を処理するニューラルネットワークの間で「回折言語」を確立し、両技術の利点を融合させます。この協力関係は、計算撮像、再構成可能なメタサーフェス、および統計的推論など、多岐にわたる応用分野で新しい能力を解き放つ可能性を秘めています。

これまで発表されたハイブリッドアーキテクチャのまとめ

A. 推論にANNが用いられないもの（回折のみで推論を完結するもの）

このカテゴリーは、回折ネットワークの**訓練（最適化）にはANNsのアルゴリズム（教師あり学習ツール）が用いられますが、推論（実行）時には回折光学系のみでタスクを完遂し、デジタルANNがその計算チェーンに含まれない構造です。

https://scrapbox.io/files/68fe242ac5c8164cacccd371.png

B. 回折（光学）の後にANN（デジタル）が接続されているもの

このカテゴリーでは、回折要素がフロントエンドで光学的な符号化や変換を実行し、その出力をセンサーがデジタル化（光電検出）した後、バックエンドのANNが残りの情報処理や分類を担当します。

https://scrapbox.io/files/68fe24617b40a6142afa3c5f.png

C. ANN（デジタル）の後ろに回折（光学）があるもの

このカテゴリーでは、デジタルANNが光学系のフロントエンド（エンコーダやコントローラ）として機能し、光学的出力を生成・制御するために必要な信号やパターンを生成します。回折要素（デコーダやプロジェクタ）は、デジタルで符号化された情報を光速でアナログの波として復元または操作します。

https://scrapbox.io/files/68fe24837aee5464af6e3ce9.png

D. その他（回折とANNが連携するが、上記の明確な順序に分類されないもの）

このカテゴリーには、ANNが光学ハードウェア（回折要素やメタサーフェス）の制御コードをリアルタイムで予測するシステムや、複数のCNNが異なる役割でメタサーフェスと連携するシステムが含まれます。

https://scrapbox.io/files/68fe24ae200ea3f0d0bca1c2.png

回折計算（光学）と電子計算（デジタルANN）の接続部を設計するための基本方針

光学系とデジタル処理の共同最適化

回折計算と電子計算をつなぐ構造を設計する上での中心的な方針は、両者の処理を共同で最適化することです。以前の回折光学プロセッサは、人間の知覚や視覚によって主に駆動される独立したシステムに情報を提供するために設計されていました。

しかし、ディープラーニングの進展に伴い、焦点は、後続のデジタル処理を考慮に入れた回折要素の最適化へと移りました。この共同最適化は、データ駆動型のディープラーニングによって実現され、フロントエンドの物理的なプロセス（光学）をモデル化したバックエンドのデジタル処理アルゴリズム（ANNsなど）が、光学系と協調して最適化されます。

この設計方針により、光学とデジタルの両パラダイムの最良の部分を統合することが可能となり、人間の直感を超越した、より優れた非直感的な設計空間の探索が可能となります。この共同最適化の結果として、光学系は豊かな空間変動点像分布関数（PSFs）を統合し、デジタルANNとの連携を通じてタスクの実行に完全に活用できるようになります。例えば、深層学習的に符号化された開口（deeply coded aperture）の設計では、開口によるエンコーディングが再構成ANNのフロントエンドとしてデジタル的に組み込まれ、開口とANNの共同最適化が実現されています。

計算負荷の光領域へのオフロード

設計のもう一つの重要な方針は、ANN実行における計算負荷の大きい線形演算を光領域にオフロードすることです。ディープANNの実行は、多数のパラメータ（数千万〜数億）を伴うため、デジタル電子プラットフォームでは消費電力が高く、デジタルエレクトロニクスの帯域幅では推論速度の顕著な加速が困難になっています。このため、光の持つ大きな帯域幅と大規模並列性を利用し、計算資源を節約するために、フロントエンドの線形演算などの計算コストが高い操作を、低消費電力かつ高速な光学系にオフロードするという解決策が提案されています。例えば、畳み込みニューラルネットワーク（CNN）の最初の畳み込み層の畳み込みカーネル計算を、4fシステムのフーリエ面にある位相マスクを利用してすべて光学的に実装する試みは、この方針の一例です。

光学-電子インターフェース要件の軽減

また、回折計算と電子計算の連携により、インターフェース（センサー）の要件を低く抑えることが可能となります。ハイブリッドシステムで用いられる圧縮分類のようなスキームでは、光学的符号化を通じて低解像度のセンサー読み出しが使用されます。これは、光電子検出後のデジタル演算の数を減らすだけでなく、光学と電子工学の接点となるセンサーに必要なピクセル数の要求を低く抑えることができます。その結果、フレームレートが向上し、電力および帯域幅の要件が削減されるという相乗的な利益をもたらします。このアプローチは、光学的符号化を通じて入力オブジェクト情報を低次元表現にすべて光学的にエンコードし、その後、浅いデジタルANNが分類を行うというものです。

光学的処理とデジタル処理を組み合わせたハイブリッドな統計的推論の手法の一つであり、光学系による情報の符号化（圧縮）と、その後続のデジタルニューラルネットワーク（ANN）による分類処理を共同で実行するものです。光学系による情報の符号化（圧縮）と、その後続のデジタルニューラルネットワーク（ANN）による分類処理を共同で実行します。

このシステムでは、フロントエンドの回折ネットワークや再構成可能なメタサーフェス開口部といった光学要素が、入力オブジェクトの情報をすべて光学的に、低次元の表現に符号化（エンコード）し、圧縮します。この符号化の結果は、センサーによって低解像度の読み出し（optically coded low-resolution sensor readouts）として検出されます。これにより、光学-電子インターフェース（センサー）に必要なピクセル数の要求が低く抑えられます。

その後、検出器から得られたこの圧縮された光学的情報が、バックエンドのデジタルANNに送られ、分類タスクが実行されます。このフレームワークは、デジタル演算の回数を制限し、低消費電力での分類を可能にします。例えば、再構成可能なメタサーフェス開口部とニューラルネットワーク（ソフトウェア）が共同で最適化され、限られた数の測定値から物体認識のための分類スコアを出力するシステムが提案されています。また、回折ネットワークの圧縮された検出器読み出しを浅いANNに供給することで、デジタル操作の回数を制限するハイブリッド分類器の例も報告されています。この圧縮分類の設計方針により、フレームレートの向上や、電力および帯域幅の要件の削減という利点が得られます。

abstract

Optical imaging and sensing systems based on diffractive elements have seen massive advances over the last several decades.

回折素子に基づく光学イメージングとセンシングシステムは，過去数十年の間に大きな進歩を遂げてきた．

Earlier generations of diffractive optical processors were, in general, designed to deliver information to an independent system that was separately optimized, primarily driven by human vision or perception.

それ以前の世代の回折光学プロセッサーは，一般的に，主に人間の視覚や知覚によって個別に最適化された独立したシステムに情報を提供するように設計されていた．

With the recent advances in deep learning and digital neural networks, there have been efforts to establish diffractive processors that are jointly optimized with digital neural networks serving as their back-end.

最近のディープラーニングとデジタル・ニューラル・ネットワークの進歩に伴い，バックエンドとしてデジタル・ニューラル・ネットワークと共同で最適化された回折光プロセッサを確立しようとする努力がなされている．

These jointly optimized hybrid (optical + digital) processors establish a new “diffractive language” between input electromagnetic waves that carry analog information and neural networks that process the digitized information at the back-end, providing the best of both worlds.

このように共同最適化されたハイブリッド（光＋デジタル）プロセッサーは，アナログ情報を伝達する入力電磁波と，デジタル化された情報をバックエンドで処理するニューラルネットワークの間に新たな「回折言語」を確立し，両者の長所を提供する．

Such hybrid designs can process spatially and temporally coherent, partially coherent, or incoherent input waves, providing universal coverage for any spatially varying set of point spread functions that can be optimized for a given task, executed in collaboration with digital neural networks.

このようなハイブリッド・デザインは，空間的・時間的にコヒーレントな入力波，部分的にコヒーレントな入力波，あるいはインコヒーレントな入力波を処理することができ，デジタル・ニューラル・ネットワークと協力して実行される，与えられたタスクに最適化可能な，空間的に変化する点広がり関数のセットに対して普遍的なカバレッジを提供する．

In this Perspective, we highlight the utility of this exciting collaboration between engineered and programmed diffraction and digital neural networks for a diverse range of applications.

このパースペクティブでは，多様なアプリケーションにおける，設計・プログラムされた回折とデジタル・ニューラル・ネットワークの間のこのエキサイティングなコラボレーションの有用性を強調する．

We survey some of the major innovations enabled by the push–pull relationship between analogue wave processing and digital neural networks, also covering the significant benefits that could be reaped through the synergy between these two complementary paradigms.

アナログ波動処理とデジタル・ニューラル・ネットワークの間のプッシュ・プルの関係によって可能になる主要な革新のいくつかを調査し，また，これら2つの相補的なパラダイム間の相乗効果によって得られるであろう重要な利益についても取り上げる．