蝶は、人間には見えない光の特性である「偏光」や、さらに広範囲の色を感知する能力を持っています。この特別な能力によって、正確なナビゲーション、餌探し、他の蝶とのコミュニケーションが可能になります。同様に、シャコのような他の生物は、さらに広い光のスペクトルや光波の回転状態（円偏光）も感知し、配偶相手を見つけるための「愛のコード」として利用します。
これらの生物の視覚能力に着想を得たペンシルバニア州立大学工学部の研究チームは、超薄型の光学素子「メタサーフェス」を開発しました。このメタサーフェスは従来のカメラに取り付けることで、撮影した画像や動画に含まれるスペクトルや偏光データを一度にエンコードすることが可能です。このデータは、ナノアンテナのような構造を持つ微細なナノ構造を通じて光の特性を調整する仕組みです。また、研究チームは、標準的なノートパソコンでリアルタイムに多次元の視覚情報をデコードできる機械学習フレームワークも開発しました。
この研究成果は、2024年9月4日にScience Advances誌で公開されました。論文はオープンアクセス形式で、「Real-Time Machine Learning–Enhanced Hyperspectro-Polarimetric Imaging Via an Encoding Metasurface（リアルタイム機械学習によるエンコーディングメタサーフェスを介したハイパースペクトロ偏光イメージング）」というタイトルです。
「動物界が示すように、人間の目には見えない光の特性には、さまざまな応用が可能な情報が隠されています」と、本研究の主導者であるペンシルバニア州立大学の電気工学准教授、ニー・シンジェ博士（Xingjie Ni, PhD）は語りました。「この研究では、メタサーフェスを従来のカメラに統合することで、コンパクトで軽量なハイパースペクトル偏光カメラを実現しました。」
従来のハイパースペクトルや偏光カメラは、大型で高価であることが多く、スペクトルデータまたは偏光データのどちらか一方しか記録できないとされてきました。一方、研究チームの開発した3ミリメートル四方のメタサーフェスは、カメラのレンズとセンサーの間に配置することで、両方のデータを同時に記録し、即座にコンピューターに送信することができます。さらに、このメタサーフェスは低コストで製造可能です。
その後、記録されたデータをデコードしてスペクトルと偏光の情報を明らかにする必要があります。このために、同大学の博士課程学生で論文共著者のボーフェン・リウ氏（Bofeng Liu）は、1.8百万枚の画像を用いたデータ拡張技術で機械学習フレームワークを構築しました。
「秒間28フレーム—これは主に使用したカメラの速度による制約ですが—で、ニューラルネットワークを用いてスペクトルおよび偏光情報を迅速に復元することができます。この技術により、リアルタイムでデータの取得と可視化が可能になります」とリウ氏は述べています。
研究者らは、異なるレーザー照射下で透明な「PSU」という文字を動画撮影し、さらに円偏光を反射する特性で知られるコガネムシの画像も撮影しました。
この技術が商業化されれば、消費者はその恩恵を受けることができるとニー博士は述べています。
「たとえば、このカメラをスーパーに持ち込めば、棚に並んだ果物や野菜の鮮度を購入前に判断することができます」とニー博士は説明します。「この拡張カメラは、見えない世界への窓を開くのです。」
さらに、バイオメディカル分野でも応用可能であり、ハイパースペクトル偏光情報を活用することで、体内組織の材料や構造的特性を識別し、がん細胞の診断に役立つ可能性があります。
この研究は、ニー博士が以前開発したメタサーフェスや遠隔撮影を可能にするメタレンズなどの研究の延長線上にあります。
論文の共著者には、共筆者であるペンシルバニア州立大学電気工学教授ジウェン・リウ（Zhiwen Liu）博士、電気工学のポスドク研究員ヒュンジュ・アン（Hyun-Ju Ahn）、および大学院生のリダン・チャン、チェン・ジョウ、イーミン・ディン、シェンユアン・チャン、ヤオ・ドゥアン、ムハマド・タレク・ラフマン、トゥナン・シャ、シー・チェン氏らが含まれます。
この研究は、米国国立科学財団（NSF）および米国国立衛生研究所（NIH）の国立眼研究所から支援を受けています。
