2020.08.22

【Webマガジン Vol.38- Aug., 2020】Column: イメージセンサーのカメラモジュール化

WEBマガジン

  • TOP>
  • 特集>
  • 【Webマガジン Vol.38- Aug., 2020】Column: イメージセンサーのカメラモジュール化
コーンテクノロジー
この記事の監修者
コーンズテクノロジー編集部
コーンズテクノロジーでは先進的な製品・技術を日本産業界へ紹介する技術専門商社として、通信計測・自動車・防衛セキュリティ・電子機器装置・航空宇宙・産業機械といった技術分野のお役立ち情報を紹介しています。

センサー出力のプロセッシング

イメージセンサーの出力は、画像処理プロセッシングにより、JPG(静止画)やMP4(動画)などのデータ形式に変換されます。
イメージセンサーの出力は、RGB輝度データの羅列(RAWデータ)です。これを画像データに変換するには、数値処理(RAW現像)を行います。同時に、以下のような様々な処理を行うことで、画質の向上や、各種の情報の抽出を行います。

  • 露光量、色彩、明るさなどの補整
  • 画素情報の欠落やエラー、ノイズキャンセルなどの補正
  • HDR合成や、輪郭抽出、AI分析などの画像/数値処理

最後に、出力データを、所望のインターフェース規格に従って出力します。

これら一連の処理を行うLSIとして、ISP(Image Signal Processor)があります。各種のISPが市販されており、目的に応じて選択できます。多くは、センサーへの設定信号を出力する機能を持ち、センサーとのコミュニケーションを行いながら、ファームウエアによる設定/制御に従って、所望の動作を行います。
ISPは、特定の目的に特化/最適化したものが多く、用途が合えば高性能が期待できますが、コストパフォーマンスや、後々の仕様変更の際の機能拡張性に、考慮を要する場合があります。
また、OpenCVなどの各種のフリーライブラリや、AIを始めとした高次元の処理スキームも流通しており、FPGAやマイコン上に、自力で構成することも可能です。こちらは、拡張性を含めた高次元の設計自由度を確保できる一方、開発や検証にさらに工数が必要になります。
ISPメーカーの多くが、実装のリファレンスデザインを公開しています。パスコンや、不揮発メモリ、フレームメモリなどの周辺素子を、リファレンスデザインに準じて基板に配置することで、安定した動作が期待できます。
また、小型のISPであれば、両面実装などでセンサー基板と同一化することで、カメラモジュール全体の小型化や、コストダウンを行うことができます。

 

 

 

 

 

 

図6 システム構成の概要

 

今回、当社で作成したカメラモジュールは、小型のセンサーサイズに最適で使い勝手が良好なR5U8710(リコー電子デバイス)を採用しました。

  • UVC出力に特化しており用途に適合
  • AE、AG、AWBなど機能が充実
  • 低照度撮影、高速fps出力などファームウエアで対応可能
  • 小型でシステムサイズを圧迫しない
  • 色味調整ツールなどのサポートがある

 

Sapphire WVGAカメラモジュールの特徴

小型センサーの機動性を生かした、あらゆる場面に使い勝手の良い、小型カメラモジュールを実現しました。

 

 

 

図7 カメラモジュール外観

表:カメラモジュール仕様一覧
イメージセンサー TELEDYNE e2v
SAPPHIRE WVGA
1/4″サイズ 4.5umピッチ36万画素
シャッター形式 グローバル/ローリングシャッター選択可能
ダイナミックレンジ > 52dB
SNR ≦ 39dB
画像処理チップ リコー電子デバイス(株) R5U8710
動作温度 ー40~85℃(0~65℃推奨)
保存温度 ー40~85℃
動作電圧 3.3V±5%
コネクタ FFC 0.5mmピッチ 10ピン(USBコネクタへ変更可能)
インターフェース USB2.0
出力形式 UVC
出力画像サイズ WVGA、VGA、QVGAなど選択可能
圧縮形式 YUY2、MJPEG
フレームレート ・標準30fps
・MJPEGの場合、最大120fpsが可能
・27.5fps、55fpsへの設定も可能
レンズ 固定焦点 F=2.68mm f=2.8 Distortion~-4.0%
(レンズ変更可能:ホルダーや基板の設計変更を要する場合があります。)
レンズマウント M12 x p0.5
画角 VFOV=44° HFOV=64° DFOV=73°
モジュールサイズ 31(W)x28(D)x19(H) mm
固定穴 センター位置26×23 Φ2.1 mm
ファームウエア設定 AE、AWBなど。

 

  • IFはUVC規格なので、USB端子に接続することで自動的にUSBカメラとして認識されます。
  • 暗い環境に特化したAE機能のオプションを選択可能です。(照度に応じてAEを広範囲に自動制御します。)
  • linux環境からV4L2コマンドによる制御が可能です。
  • インターフェースはFFC 10ピンです。
  • 電源は3.3V単一です。
  • PCなどのUSB端子に直接接続するには、5V→3.3VのDC-DC回路と変換コネクタが必要です。

 

 

 

 

 

 

 

 

図8 機器への接続図

 

※ FFC→USBコネクタへの変更など、各種のカスタマイゼーションも賜ります。ページ下部のお問い合わせフォームより、お問い合わせください。
※本カメラモジュールの作製は、テラテクノス株式会社に依頼し、開発上のご協力を頂きました。
テラテクノス株式会社: https://www.terratechnos.com/

 

カメラモジュール応用例:手の平ネットワークカメラ

今回、本カメラモジュールと、小型のシングルボードコンピューター(SBC)を使って、画像のネットワーク配信環境を作製したので、応用事例として紹介します。
使用したSBCはNanoPi Neo2。手のひらサイズの小型サイズに、高速のLANポートと、複数のUSBポートを備えています。USBポートは、通常のコネクタだけでなく、ボードピン上にも出ており、3.3V電源も供給されているので、本カメラモジュールをそのまま接続できます。

 

 

 

 

 

 

 

図9 NanoPi Neo2のピン構成と接続ポート例(ピンクの追記部)

※ 図はhttp://wiki.friendlyarm.com/wiki/index.php/NanoPi_NEO2より引用

接続に関する設定は不要で、本カメラモジュールを有線接続するだけで、Video deviceとして認識されます。