この記事の監修者

コーンズテクノロジー編集部

コーンズテクノロジーでは先進的な製品・技術を日本産業界へ紹介する技術専門商社として、通信計測・自動車・防衛セキュリティ・電子機器装置・航空宇宙・産業機械といった技術分野のお役立ち情報を紹介しています。

Hadron320

 Hadron320は、Boson320とSony imx412を一つの筐体に納め、IMUとしてInvensense/TDK ICM20602を搭載した、ドローン搭載を主目的にしたカメラモジュールになります。

Hadron320からは、2つのカメラからの出力、Boson320のUSBと、imx412の4レーンMIPIおよびI2C、IMU I2Cが集合した一つのコネクタによってインターフェースされているため、今回、Boson用のmicro USBコネクタおよび、imx412用に22pin MIPIコネクタを搭載したボードを当社で製作しました。

インターフェースボード

USBコネクタとしてmicroUSB3を採用していますが、Hadron320ではUSB2までがサポートされています。しかし、USB2.0のmicroUSB縦型コネクタは破損しやすいため、microUSB3を使用するとともに保護金具を、基板共締めする形で用意しました。

５ピンのヘッダは、IMU用のI2C/SPIインターフェースになります。

Hadron320に搭載

SLA-4000

SLA-4000には28pin MIPIインターフェースが装備されています。Hadron320 I/Fボードでは、IMX412の4レーンMIPIを、22pin MIPIインターフェースとしていますので、22pin – 28pin変換が必要になります。

試験用に、28pin FFCコネクタと22pin FFCコネクタ、フラットケーブルを用いて、下図のようなボードを作成してみました。

※　以降出てくる用語についてあらかじめ解説。

　　VideoTrack：画像処理を行うビデオ処理アプリケーションです。

　　Panel PlusまたはP+：VideoTrack制御を行うユーザーインターフェースで、処理結果であるストリームを表示する機能があります。

接続

では、早速、これらを接続してみます。ケーブルが様々つながっていますが、Hadron320からは、Boson320 USBがSLA-4000 USBポートに接続され、IMX412 MIPIが、ピン数変換ボードを介してSLA-4000 MIPIポートに接続されています。

Hadron320を、当社製のインターフェースボードを用いて接続する場合、左の、SLA-4000の基本構成だけで実現することができます。上の写真に見えるHD-SDIボードは不要です。
上記写真では、電源供給用のボード及び、デバッグ用のボードについても接続されていますが、ボード上のコネクタを通じ、電源供給、および、Ethernet RJ-45コネクタへ接続することができます。

ただし、この背面に存在する4000-OEMモジュールについては、十分に放熱するための仕組みが必要になります。

設定

Hadron320は、S/Nラベルが貼られている面が下面となるよう作られています。

Boson320は、USB接続されています。USB接続のBosonを使用する場合、現在のVideoTrackソフトウエアでは、専用のAcquisition settingsが用意されていません。このため、Boson640 USBとして接続します。

USBでインターフェースしたBosonでは、pixel format指定によってPreAGC・PostAGC / Post Colorizedを選択できるようになっています。VideoTrackにおいても、PostAGCを選択する指定を、Optionsにて、fmt=として指定します(デフォルトがraw=IR16であるため、Optionを外せばIR16を取り込みます）。

なお、rawデータを正しくキャプチャするためには、Acquisition settingsにおいて、解像度を正しく設定する必要があります。

imx412は、フル性能である4Kモードと1080pモードを選ぶことができますが、4Kモードでは当然ストリーミングデータも大きくなります。Panel Plusに表示されている画像は、ストリーミングデータから作製されていることに注意してください。すなわち、ネットワーク負荷が大きいところでは、モザイク発生など画質低下が発生します。

Display設定として、まず、可視画像内にサーマル画像を納めるpicture-in-pictureとなるよう、multiソース設定を行って表示を行うと、次のようになります。

ここでは、メイン表示が可視カメラ、サブ表示として、右上に、画面中3/8サイズにサーマルを表示していますが、この関係は逆転できますし、PinPサイズも変更することができます(サーマル疑似カラーはIronに設定)。

重ね合わせ

光軸のずれもあり、あまり近いところでフォーカスを合わせることは容易ではないため、今ひとつわかりづらい絵柄で申し訳ないのですが、SLA-4000を使用すると、可視画像とサーマル画像の重ね合わせ処理をおこなうことができます。

EAN-Blendingとして提供されているドキュメントで説明されています。

右図では、可視画像のちょうど真中付近に、おなじ部分のサーマル画像が重ね合わせられています（そのため、真ん中あたりだけグレーぽくなっています)）。

ブレンド具合は、スライダーAmountで設定できます。

アラインメント設定ツールと組み合わせることで、合成位置を調整します。上下左右±128ピクセル、ズーム、水平方向伸長、ロール等をスライダー、あるいはマニュアル入力で調整することができます。

両画面で、4点を指定して合わせこみをおこなうこともできます。

サーマルの比率を上げていくと、次のようになります(まだ上にずれてますが…）。

使用しているカメラが、1080p60のimx412に対して、PostAGC VGA出力のBoson320、かつFOVもだいぶ違う（imx412はHFoV=80°に対して、Boson320は34°）関係で、1m程度の距離では、なかなか「うまく合成できている」とは言えず、実際の運用環境を反映して、もう少し距離を置く必要があります。
しかし、スライダーによりブレンド比率を変更できることで、比較的、合成状況は確認しやすいであろうと思います。

最後に

　SLA-4000と、2台のカメラを組み合わせることで、その画像から得られる情報量を飛躍的に増やすことができるであろうと思います。今回はHadron320を利用してみました。ご興味ありましたら、どうぞコーンズテクノロジーまで。

【お問い合わせ先】

電子デバイス営業部　センサーチーム
〒105-0014 東京都港区芝3-3-10 ｺｰﾝｽﾞﾊｳｽ
TEL:03-5427-7564　FAX:03-5427-7572
E-mail: ctl-devices@cornes.jp