ニュース＆イベント NEWS & EVENTS

東京理科大学工学部電気工学科の浜本隆之教授、亀田裕介講師(現在、上智大学理工学部情報理工学科助教)、岩渕清隆氏(修士課程2年)の研究グループは、次世代の撮像技術として期待される単一光子検出型撮像方式の時間解像度の高さを生かし、光子の少ない暗い環境でも被写体ブレを抑制する新たな画像再構成法を開発しました。本手法は従来の手法よりも被写体ブレを抑制しノイズも少なく、宇宙空間などの光がとても少なく暗い環境での高画質映像や、現在のハイスピードカメラを超える超スーパースロー映像を撮るための技術につながると期待されます。

単一光子検出型撮像方式は、光子が少ない環境で画像を取得するために用いられる技術です。単一光子検出型撮像方式では、入射光子の情報を二値画像列として取得し、画像再構成処理でその情報をマルチビット画像に変換します。この再構成処理において、被写体となる人や物に動きがある場面でも被写体ブレのない映像を取得するためには、動きボケ除去処理が必要になります。
本研究では、異なる速度(向きと速さ)を有する複数の被写体が重なっているような複雑なシーンにおいても、高画質な画像再構成を行うことができる新たな動きボケ除去手法を提案いたしました。この手法は、被写体の動きに応じた再構成を行うことで、注目する画素の周辺領域に着目した従来の動きボケ除去法よりも効率的に被写体ブレを抑制できます。入射光子の時間的な揺らぎを統計学的手法で評価することにより、より光子が少ない環境においても高精度な動き検出を可能にする新技術です。また、本手法は、動きボケ除去に加えてノイズ除去処理を行うことで、被写体ブレを抑えたままピーク信号対雑音比がさらに1.2dB改善することが示されました。

研究の背景

光子の少ない環境で高画質の画像を取得する手法の開発は医学やセキュリティ、そしてサイエンスなど幅広い分野で求められています。近年一般に使われているCMOSイメージセンサに比べ、SPADセンサやQIセンサのように1個の光子を検知できる感度を持った撮像デバイスの方が、光子の少ない環境における感度および時間分解能の点で優れています。そうした撮像デバイスはコンシューマ向け製品にも応用できます。
単一光子検出型イメージセンサは入射光子の情報を、光子が検出されたか否かに基づいて各ピクセルで二値化し、ビットプレーン画像として記録します。大量のビットプレーン画像を取得し、それらを累積させるという単純な手法でマルチビット画像に変換することができます。また、用途に応じて再構成法を選べることも単一光子検出型撮像方式の利点です。
ビットプレーン画像から高画質なマルチビット画像に再構成する手法については、現在盛んに研究が進められています。時間軸に沿ったビットプレーン画像が累積することでSN比が改善され、高画質なマルチビット画像を得ることができますが、動く被写体を撮影する際は、被写体ブレが問題となります。被写体が動くため、被写体の位置合わせをしないままビットプレーン画像を統合すると、被写体ブレが生じるのです。単一光子検出型撮像方式のように時間解像度が非常に高く、各ビットプレーン画像においては被写体ブレが発生していない場合でも、それらを統合した画像では被写体ブレが生じます。
そこで研究グループは、光子の少ない環境下でも被写体の細部まで鮮明に映すことができるマルチビット画像を再構成する手法を開発することを目的に研究を行いました。

研究結果の詳細

このような被写体の動きに合わせた被写体ブレの抑制を実現するためには、動きを正確に推定することがまず必要となります。そこで研究グループは、ビットプレーン画像に基づき、直接かつ正確に動きを推定する手法を提案しました。従来の手法では、少数のビットプレーン画像を変換して得られたマルチビット画像に基づいて、間接的に被写体の動きを推定していました。しかしこのようなマルチビット画像は、光量が減少し、被写体の動きが増加することから、画質が劣化するため、正確な動きの推定は難しいという問題がありました。それに対して、本提案手法では多数のビットプレーン画像による入射光子の数の時間的変動に基づいて、高精度な動き情報を取得することができます。
本提案手法のポイントは、被写体の動きに合わせて被写体ブレを抑制するという点です。具体的には、似た動きによってグループ化される領域を動きボケ除去処理の単位として扱うことで、部分的に動きボケ除去された画像を得ることができます。この手法では動きに基づいて補正をかけるため、被写体の動きが途中で変わるケースや複数の動く被写体が重なり合っているケースなどにも対応できます。被写体の領域を指定する必要もありません。
本手法による推定の結果、1フレームあたりの平均入射光子数が0.1という暗い環境でも、位置合わせのズレの誤差は1画素未満と、マルチビット画像に基づいて動きを推定する従来の手法に比べ、正確であることが示されました。また、本手法は、動きボケ除去に加えてノイズ除去処理を行うことで、被写体ブレを抑えたままピーク信号対雑音比がさらに1.2dB改善しました。
次世代の撮像技術である単一光子検出型撮像方式は時間解像度が高いため、このように再構成処理を工夫することで、単なる高感度化だけでなく、優れた画質の映像を取得することができます。本研究で提案した手法は、宇宙空間などの光がとても少なく暗い環境での高画質映像や、現在のハイスピードカメラを超える超スーパースロー映像を撮るための技術につながります。

※本研究は、日本学術振興会科学研究費補助金「基盤研究(C)一般」(19K12025)、若手研究(20K19829)の助成を受けて実施したものです。