Visual M2Mグループの白金です。 普段は Visual M2M Data Visualizerの製品開発を担当しています。
先日、intdashの新しいバージョンがリリースされ、 建設、物流、自動車開発のDX化の促進を推進するため、以下のROSデータと連携する新機能がVisual M2M Data Visualizerに追加されました：
- デジタルツイン対応の強化による現場環境の見える化と最適化
- 遠隔操縦機能とリアルタイム伝送機能の強化
本記事では、新機能の詳細と物理シミュレーターを使用した可視化および遠隔操作の実例とあわせて紹介したいと思います。
Visual M2M Data Visualizerとは
Visual M2M Data Visualizerは、intdashのデータパイプライン上を流れるリアルタイムストリーミングや、プラットフォーム上に蓄積された過去の計測データなど、様々な時系列データを多彩に可視化するWebベースのダッシュボードアプリケーションです。
計測器が出力する秒間数百〜数千といった高頻度な時系列データについても、ブラウザとインターネットさえあればいつでも再生できます。
ROSデータと連携を強化する新機能
ROSデータと連携を強化するため、以下3つの機能をVisual M2M Data Visualizerに追加しました。
- 3D点群表示機能の追加
- 遠隔操作機能の追加
- ROSデータの画像表示機能を追加
これにより、ROSデータをJSONやJPEGに変換したり、遠隔操作用の別デバイスを準備する必要がなくなります。 新機能のリリースとMessagePackの併用*1で、対応コスト削減と伝送効率の向上が期待できます。
では、もう少し各機能について詳しく見ていきましょう。
3D点群表示機能の追加
LiDARから取得した3D点群データを表示するPoint Cloudパーツを追加しました。
これにより、映像、センサーデータやロボットの姿勢データに加え、3D点群データを同期再生できるようになりました。LiDARを活用したリアルタイムなデジタルツインアプリケーションを、カスタマイズ開発なしで迅速に実現できます。
上図の3D点群表示は、原点からの距離で色を変えていますが、その他にも、原点からの高さや各点に設定されている色で表現することも可能です。
3D点群の表示は、以下のROSデータに対応しています。
遠隔操作機能の追加
市販されているGamepad*2を使用して、Visual M2M Data Visualizerから遠隔操作のデータを送信するGamepadパーツを追加しました。
Gamepadは、Visual M2M Data Visualizerを表示しているWindowsなどのOSがUSB、またはBluetoothで認識済みであれば、すぐにご利用いただけます。*3
遠隔送信元のエッジは、画面左下のSender Edgeから設定できます。
Gamepadがお手元に準備ができない場合は、キーボードやマウスでの操作も可能です。詳細は以下の動画を参照ください。
遠隔操作データは、以下のROSデータで送信します。
ROSデータの画像表示機能を追加
Image Viewerパーツの機能を強化しました。 これにより、これまでのJPEG表示機能に加え、ROSデータの画像もカスタム開発なしで表示可能になりました。
下図は、ROSデータに含まれるJPEG画像を表示したものです。
Image Viewerパーツは、以下のROSデータの表示に対応しています。
物理シミュレーターのデータをリアルタイムで可視化し、遠隔操作する
新しくリリースされたVisual M2M Data Visualizerの機能を使用して、物理シミュレーターから送信されるデータをリアルタイムで可視化し、遠隔で操作するデモです。
デモの構成は下図の通りです。
Visual M2M Data Visualizerの画面構成は、リアルタイムの可視化と遠隔操作を行うために、下図の通りに表現しました。
画面右下のセンサーデータグラフにはバックホーの一部センサーのみ表示されていますが、用途に応じてバックホーやトラックの他のセンサーデータも可視化できます。
以下の動画はデモの様子です。Visual M2M Data Visualizerを使用して遠隔操作データを送信し、バックホーで土砂を掬う操作やトラックの移動ができました。
物理シミュレーターを実際のLiDAR、または重機の環境に変更し、intdash のサービスと組み合わせることで、シミュレーターと同様VM2M Data Visualizerを使用して、可視化、及び遠隔操作をご利用いただくことも可能です。
その他の新機能
その他にも、追加された遠隔操作および可視化機能を以下に紹介します。
Command Buttonパーツ
Command Buttonパーツは、パーツ内に表示されているボタンを押すと設定されたエッジに指示データを送信します。 送信するデータは、各Command Buttonごとに任意のデータを設定できます。
Edge Switcher
画面右下に、Edge Switcherのボタンを追加し、ビジュアルパーツで表示したいエッジをシームレスに切り替えることが可能になりました。
これにより、同種別の複数の計測器を可視化する際に、事前準備としてスクリーンを複製、かつ表示するエッジを都度変更するといった運用コストを削減することが可能になります。
おわりに
新しくリリースされたVisual M2M Data Visualizerを使用し、デジタルツイン対応の強化、及び遠隔操作の機能について紹介しました。 これにより、デジタルツインにリアルタイムで反映されることで、状況把握の時間が短縮され、迅速な意思決定に役立つことができれば幸いです。
今後のアップデートにもご期待ください。
*1:intdash上でROSデータの送受信にMessagePackを使用しています。 MessagePackはシンプルな構造で、多くのプログラム言語をサポートし、異なるプラットフォーム間でのデータ交換を容易にします。 これにより、ROSデータの伝送効率が向上し、ネットワーク帯域の節約やリアルタイム性の向上が期待できます。
*3:OSとGamepadの組み合わせでは、サポートしていなかったりドライバのインストールが必要になる場合があります。
