Lepton パートナーのご紹介(関西電機工業株式会社様)

　関西電機工業株式会社さんは、Leptonを利用したアプリケーション開発を行っておられ、W&Tとしても様々なアイデアを公開されています。その関西電機工業さんから寄稿頂きましたので、紹介いたします。

Leptonを利用した仕組みの検討の、一助となれば幸いです。

---

寄稿：関西電機工業株式会社様より

---

 

元々太陽光パネルの検査にサーモグラフィーを使っていましたが、もっと安価に出来ないかと思っているところにFLIR Leptonセンサーが販売されました。といってもそれだけではサーマル画像を取り出す事は出来ません。ラズベリーパイ等の開発ボードを使ってセンサーデータを取り出して、画像変換して、やっとサーマル画像になります。もちろんFLIR社よりサンプルのコード等はオープンソースで公開されて、国内外有志によって色々な方法が模索され公開されていました。それでも開発ボードの大きさや電源の問題で何とか動く程度。小型パッケージにしたものもが海外のスタートアップでリリースされましたが、価格や入手方法が複雑で1年位でその会社自体が消滅したり製品が入手出来なくなったりしていました。

メーカーからは直接スマホにLeptonが内蔵されたFLIR Oneといった機器も発売されました。中国製のコピー品もありました。

ただスマホに直付けで、上からや下からの撮影で画面の確認が不便な事があります。

スマホとワイアレス連携できれば、センサー位置に関係無く画面確認が出来て、より便利にサーマル画像を利用できるのにと思っているところに、ESP８２６６開発ボードを使ってLeptonのデータをOSC通信でiPhoneに送る方法を思いついた人をブログで発見して一緒に趣味的に開発をスタートして実用化できたのがサーマルカムです。

https://apps.apple.com/us/app/thermal-cam/id1247237565

 

当時JetonTX2が発売されて、サーモ画像をYOLOv３を使って画像認識をするとじゃんけんや人を認識する事が出来ました。

その方法も公開しています。https://takesan.hatenablog.com/entry/2018/08/16/013452

 

これまでのLepton 実験と開発の履歴

その後JetsonはXavierやNanoが発売されて、それぞれ画像認識の精度を高めて行きました。

ドローンに乗せたり、車に積んだり、自転車に積んで実験してきました。ドローンではドローンの送信機電波との混線に悩まされました。ある程度の条件で２０〜３０mは画像を転送する事は出来ましたが、残念ながら通信が安定しないので開発は断念しました。

どんな事をやってきたかは動画をご覧いただいた方がわかりやすいと思います。

https://www.youtube.com/channel/UC8PgW8ZGCI9a385RkSNc_yQ/videos

Leptonは初期のモデルからLepton3.5まで開発しました。ちなみにBOSONの３２０x２４０のモデルならラズベリーパイZeroとiPhoneをワイアレスで繋ぐThermal Cam BOSONのアプリもリリースしています。

Jetsonを使ったアプリはバージョン管理が大変で、ソースを公開してもサポートは難しいこともあり公開を断念しています。

ESP8266の代わりにラズベリーパイを使い、iOSアプリにLeptonのサーマル画像を送って、iPhoneのCoreMLを使ってYOLO画像認識をする方法は、アプリもラズベリーパイのソースも公開しています。一応モデルの入れ替えの方法も公開していますが難度はかなり高いです。

開発の詳細は分かり易い様にインデックスにしています。

数多くの一般の人に、サーマル画像で画像認識を手軽に試してもらえる様にiPhoneXs以降のモデルに限定されますが、モデルのインストール方法もアプリの説明に記載しています。

今年はオリジナルのブレイクアウトボードを作りました。

 

コーンズテクノロジー社を通じて購入が可能です。(→ECサイト購入ページ)

FLIR社の後継モデルBreakoutBoard V2は、初期のモデルとピンの配列や使い勝手が変わってしまって使いにくかったので自作しました。仕様書はコーンズテクノロジーにお問合せ下さい。(→仕様書はこちら)

 

因みに私達、米国FLIR社のLepton開発者ページに掲載されています。

ここに掲載のサーマルステレオカメラのiOSアプリも来年位に公開しようと調整しています。

https://lepton.flir.com/community-showcase-items/thermal-stereo-cam/

 

アーリーアダプターコミュニティ：大阪工業大学の学生とのコラボレーション

また、サーモグラフィーの新たなアプリケーションも、大阪商工会議所のアーリーアダプターコミュニティと言う企画で、大阪工業大学の学生達から面白いアイデアを沢山出して頂きました。エンターテインメント、スポーツは学校教育への使い方など盛りだくさん。

斬新でオリジナリティのあるアイデアばかりでワクワクします。アイデアは無限大！