SightLine Applications社は、画像処理エンジン・ソフトウエアを搭載した組み込み用ボードと、画像処理ソフトウエアをセットで販売しています。組み込み用ボードでは、SightLine Applications社により整備されたLinuxを、OSとして使用しています。現在、SightLine Applications社には、1500シリーズ、3000シリーズ、4000シリーズと３シリーズありますが、うち、3000シリーズは、部品供給上2023年で終了します。本記事では、主に4000シリーズについて紹介いたします。

 

製品ラインアップ・概略仕様

　各シリーズは、OEMモジュールと、B2Bコネクタによるアダプタボードと組み合わせて使用します。

 

	1500シリーズ	4000シリーズ
プロセッサ	TI DM3730 SOM	Qualcomm SD820 SOM
デジタルビデオ入力	1入力（複数ソースからスイッチ）	２入力（複数ソースからスイッチ）
アナログビデオ入力 （NTSC/PAL)	2入力	2入力（3000-AB adapter２個使用時）
画像サイズ・ フレーム数	・SD@30fps ・720p@15-25 fps（ソフトウエア依存）	・1080p@30fps×2 ・4K@30fps encoding, 15-30fps (full SW)
シリアルポート	3(3.3V)	4(3.3V) + 4(w/ MIPI input adapter)
その他I/O	I2C(1), GPIO (3+)	I2C, GPIO(3+ +3(w/ MIPI input adapter)
イーサネット	10/100base-T Eth PHY. UDP, TCP and RTSP unicast, multicast. Capacitive coupling	1500・3000シリーズと同様のイーサネット、ただしMagnetic coupling
ビデオエンコード	h.264 / MPEG4 / M-JPEG encoding, MPEG2 TS / RTP encapsulation	h.264 and h.265 encoding, MPEG2 TS / RTP encapsulation
KLV / Metadata	システム メタデータは、OSD、JPEG EXIF ヘッダー、フル ピクセル スナップショット、および KML または NITF ファイル内で使用される KLV IP ストリームに挿入できます。KLV メタデータはMISBスタンダードに準拠します。
HDMI出力	なし	あり
HDSDI出力	なし	要HDSDI output board
Analog出力	あり	なし
レコーディング機能	microSD(～400GB)
電源	4.5～6.5V DC (標準5V。ただし、アダプタボードのいくつかは6Vまで。） 2.5W (typical)	8-15V DC (標準12V) 5W (typical)
サイズ	26.5×37.7mm, 7.6g. うちSOM：15x27mm	50.5x38mm, 13g うちSOM：50x28mm
温度	室温環境、標準放熱器にて-40～55℃	室温環境、標準放熱器にて-35～55℃、電源投入時ヒーター使用することで-40℃ SOMは0～70℃、その他部品は-40～85℃品を使用
EMI	MIL-STD-461
振動	MIL-STD-810
製造品質	ISO 9001 and AS 9100取得済み工場において、IPC-A610 Class2仕様に基づき組み立て ROHS Directive 2011/65/EU, 2015/863/EUに準ずる部品を使用

 

ハードウエア編

1500シリーズOEMボードとアクセサリ

　※⇒ SightLine Applications社webをご参照ください。

 

4000シリーズOEMボードとアクセサリ

 

品名	内容	写真、など
4000 OEM	SD820モジュールとベースボードが組み合わされたボードです（下側にSD820モジュール）。
4000 EVAL	4000 OEMを評価するために必要なキットです。4000 OEMと4000 DEBUG、SLA Dist、それに放熱を兼ねるマウントプレートや各ボードを接続するためのケーブルなどがセットになっています。これがあれば、まずはボードを動作させることが可能です。
4000 MIPI IN	MIPI入力用インターフェースボード 4000 OEMとは、B2Bコネクタを介してマウントする、MIPIケーブルを使って接続する、の２通りの接続方法を選択できます。
4000 STM	4K HDMI入力用インターフェースボード Sony UHD Blockカメラ専用です。4000 OEM MIPIポートに接続します。
4000 HDMI	HDMI入力用インターフェースボード 4K入力に対応できます。4000 OEM MIPIポートに接続します。
HDMI – SDI	HDMI to HD SDI変換ボード カメラのHDMI出力をHD-SDIへ変換します。3000 HDSDI INを使用して、HDMIカメラを接続するためのボードです。
4000 DEBUG	4000 OEMにシリアルコンソールを提供するボードで、4000 EVALに含まれます。
PI15	Raspberry Pi Camera V2などのMIPI 15pinカメラモジュールを接続するためのボードです。
PI22	Raspberry Pi CameraなどのMIPI 22pinカメラモジュールなどを接続するためのボードです。
3000 HDSDI IN	HDSDI入力ボード 4000 OEMのB2Bコネクタに接続します。
3000 SONY/TAMRON	Sony / Tamron社カメラモジュールインターフェース 4000 OEMのB2Bコネクタに接続します。
3000 FPC	カメラモジュールインターフェースボード このボードを介して、様々なカメラ（モジュール）へ接続します。以下は、3000 FPCと組み合わせて使用するカメラ側ボードの一部です。4000 OEMのB2Bコネクタに接続します。
	FPC BOSON-E FLIR社LWIRカメラモジュールBosonと接続するボードで、Boson背面コネクタに直接接続し、FPCにて3000 FPCへ接続します。 Bosonを稼働させるための外部電源(+5V)が必要です。
	FPC TAU FLIR社LWIRカメラモジュールtau2と接続するボードで、tau2背面コネクタに直接接続し、FPCにて3000 FPCへ接続します。
3000 HDMI	HDMI入力ボード HDMI出力のカメラを接続するためのボードです.　4000-OEMからHDMI出力するものではありません。入力解像度は1080p30までです。4000 OEMのB2Bコネクタに接続します。
3000 CLK	CameraLink入力ボード (小型インターフェースコネクタタイプ） 4000 OEMのB2Bコネクタに接続します。
3000 CL	CameraLink入力ボード （標準CameraLinkコネクタタイプ） 4000 OEMのB2Bコネクタに接続します。
3000 AB	アナログビデオ入力ボード(2入力可能） 4000 OEMのB2Bコネクタに接続します。
FFC HDMI bulkhead	HDMI出力コネクタ（4000 OEMのFPC HDMI出力を接続するものです）
SLA Dist	EVALキットを構成する、電源・電源スイッチおよびethernetコネクタが搭載されているモジュールです。（4000 EVAL付属品です。）
ケーブルアクセサリ類	詳細は省かせていただきますが、4000-OEMを軸に、アクセサリ間を接続するケーブルや、インターフェースコネクタおよびそれと接続するためのケーブル類があります。

 

ソフトウエア編

　SightLine Applications社のソフトウエアは、OEMボード用のLinux OSを含むfirmwareと、Windows上で、画像処理ファンクションや、画像入力・出力切り替え制御を行うPanel Plusアプリケーションの２つで構成されています。

OSとしてはDebianベースでビルドされており、デフォルトのaptラインも設定されていますが、SightLine Application社ソフトウエアとの整合維持上、更新はされない方が得策であろうと思います。

Firmwareは、Upgrade utilityを使って更新を行います。Panel PlusアプリケーションとFirmwareはセットで更新されます、どちらかだけを更新しないようお願いします。

 

画像処理ファンクションは、用途に応じて選択のうえで購入頂けるようになっており、選択したアプリケーションに対するライセンスを購入していただく形になっています。それらのファンクションを、効果的に利用いただくためのスクリプト作成や、あるいはお客様でアプリケーション開発を行われる場合、それをPanelPlusへと組み込んでいただけるような、LuaあるいはC/C++用のソフトウエアインターフェースが、サンプルコードとともに提供されています。もし、それらを一切使用せず「Linuxが走行するボード」として使用する場合は、Nullライセンスになります。

 

Nullの上に乗せるベース（foundation）として、大きく分けてSLAとSLEの２つがあります。SLEが基本となっていて、SLAはそれに、テレメトリ、スタビライゼーション、OSDファンクションを追加することができます。SLEからSLAへと、のちに追加ライセンスにて変更することができます。

SLE・SLAの上に、必要なファンクションを載せていきます。

 

SightLine Applications社が提供しているファンクションを個別に説明するには、相当な紙面が必要になります。SightLine Applications社webサイトにある⇒ リストをまずは参照ください。このサイトは、ファンクションの概要、機能概要を見ることができるYouTubeビデオ、およびデータシートへのリンクで構成されています。

⇒ YouTube Sightline Applications チャンネル

 

ではどのファンクションが必要か？いくつかのファンクションをまとめた、「フィーチャーセット」として選択できるようになっています。これをApp Bitsと呼んでいます。これによって、必要なフィーチャーだけを購入することができ、のちに追加購入することもできるようになっています。

 

アプリケーションなど開発環境

　オンボードアプリケーション開発のために、２通りのアプローチを提供しています。ひとつは、オンボードビデオ処理アプリケーションVideoTrackに対し、スクリプト言語であるLuaを使用して、ビデオにOSDとして位置情報を追加したり、シリアルポートを通じた制御を行うことができます。しかし、スクリプト言語であるため重い処理には向かず、レイテンシが大きいため、動画像と同期して何かを行う、といった処理には向きません。

リアルタイム性が求められるアプリケーションでは、C/C++を用いての開発が必要になります。

Luaによるスクリプト開発については⇒ EAN-Script-Development、C/C++によるアプリケーション開発については、⇒ EAN-ARM-Development-4000-OEMをご確認ください。

 

システムの最小構成例

　4000シリーズの最小構成として、例えば、FLIR Bosonを接続してHDMIディスプレイに出力するためには、次のようなボードの構成になります。

 

• 4000-OEM　（できれば当初は4000-EVAL）
• 3000-FPC
• FPC-BOSON-E
• HDMI bulkhead
• +12V ACアダプタ
• SLAまたはSLEソフトウエアライセンス

 

これに加えて、4000-OEMへ電源供給するためのケーブルSLA-CAB-0403、ただし、切り落とされているだけですので、使用するACアダプタに適合するソケットを用意していただく必要があります。

当社からBosonを販売させていただく場合は、USB VPCキットをセットしておりますが、そのまま利用し、UVCカメラとしてraw dataを利用されない場合は、4000-OEMと、HDMI bulkhead、それに電源、となります。

 

Firmware更新や、PanelPlus制御を行うためには、EthernetまたはRS-232C接続が、ホストとなるPCとの接続のために必ず必要になります。シリアルは、J2、J6、J25に２つの計４ポートでていますが、このうちJ6は、4000-OEM上部にマウントするドーターボード側で使用できるようになっています。

シリアルコンソールが必要な場合は、4000-DEBUGを、Debug Port(J7)へ接続することで使用できます。

4000-DEBUGには、RS-232Cドライバが搭載されており、それをドライブするための電源として、USB microB経由での電源供給が、加えて必要になります。

 

また、4000-OEMは、電源を入れると、比較的短時間で高温（動作温度上限）に達します。このため、4000-OEMを運用するためには、放熱対策が必要になります。初期設定だけだから、と考えていると、かなり熱くなった4000-OEMに気づいて青ざめることになります。

 

以上のことから、全体を把握されるまでは、まずは4000-EVALを用いた評価をお勧めします。

 

デモンストレーション

　4000-EVALを使って、HD-SDIに接続されているカメラと、4000-MIPI-INと組み合わせた3000-FPC + Boson-Eを使用し、2眼で表示してみたいと思います。なお、インターフェースを削減するために、Boson　または　可視カメラをUSBに接続することも可能ですが、Bosonからrawデータを取得するためには、右図のようなボード構成になります。

HD-SDIカメラは3000 HDSDI INに、Bosonは、BOSON-E – 3000 FPCを介して接続します。

 

 

 

 

 

接続例：

Boson/Boson-Eと3000-FPC間は、その通りFPCにて接続されていますので、保持用にプラ板を加工したスタンドを作りました。また、4000-DEBUGに接続されているRS-232C – USBシリアル変換ケーブルは、SightLine Applications社では販売しておらず、別途用意していただく必要があります。

 

Bosonは、DVPを利用して接続されています。

4000-OEMは、この2つのカメラを同時に扱い、画像合成を行うことができます。テストとして、HD-SDI画面内に、Boson画面をインポーズしてみます。

microSDカードを使用して、画像記録を行うことも可能です。

 

カメラの設定

　⇒ Startup Guideを参照して、2つのカメラをCam0/Cam1として設定します。カメラの命名即としては、4000-OEM上に、B2Bコネクタでマウントされるインターフェースボード上のカメラがCam0、MIPIに接続されるカメラがCam1、USBカメラの場合はCam2となる決まりがあります。したがって、上図では、Cam0がHD-SDIカメラ、Cam1がBosonになります。BosonをもしUSBで接続する場合は、Cam2になります。

 

カメラの設定は、Configure – Acquisition Settingにて行います。

詳細な設定内容については、Startup Guideにて説明されているので、本書では省きますが、HD-SDIは、Camera Type = Generic Digital、settingsとしては1080p30、BosonはCamera Type = Generic Digital、settingsとして、FLIR Boson (16b)を選択すると、必要な設定が行われます。

Display設定

　ネットワーク経由（Panel Plus上への出力は、ネットワーク経由、に該当します）、あるいはHDMI出力、何をどう出力するかを決めます。

２つのカメラを同時に、以下のようにHDMIに接続しているモニタに表示するには、右のような設定になります。

 HDMIに出力されますから、レコーディングと組み合わせることによって、ドローンに搭載しレコーディングを行いつつ、無線によってライブ配信を行うようなシステム構成を、検討することができます。

Compress設定

　RTPあるいはMPEG2-TSストリームをネットワークへと出力するためには、Compress設定を行います。Panel Plusはそのストリームを受け取りアプリケーション上で表示します。そのためには、MPEG2-TSストリームを選択して、ストリーミング先としてPanelPlusを実行しているPCを指定します。２カメラ分ストリーミングするため、Network 0・Network 1に、Panel Plus PCのIPアドレスを設定（”Use My IP – Unicast”というボタンがあるので、Panel Plusが稼働しているPCでのみ表示するのであれば、それをクリックします）してやります。Portはデフォルト値15004と15006を使ってPanel Plusが受け取るように設定されています。

 

 

その他の機能

　AppBitsで設定できる機能面では、このほかに、オブジェクト検出（人・車など）、振動補正、アノーマリ検出といったものがあります。もちろん、それぞれに適したカメラ解像度や、対象までの距離と検出可能な画像上のサイズなどのパラメータとなる空間分解能がありますので、用途に応じたカメラを選定して頂く必要があります。

⇒ Software Functions webページにある各ドキュメントには、それぞれの機能を使用するために、どのAppBitsがセットされている必要があるかについての説明もありますので、購入する必要があるソフトウエアライセンス検討にご利用いただけることと思います。

 

（本記事内で使用しています写真や表のうち、当社にて撮影している実例写真以外につきましては、SightLine Applications社との合意のもとに使用させていただいています。）

 

⇒ 製品ページはこちら