aptpod Tech Blog

株式会社アプトポッドのテクノロジーブログです

音声通話アプリでお話ししましょう

計測中の通話記録を残したいみなさん、

収集した音声データを分析したいみなさん、

こんにちは、ソリューションアーキテクトの伊勢です。

運行管理など発話によるコミュニケーションが必要な場面があります。

今回は運行モビリティデータとあわせて音声を収集できるアプリをご紹介します。

はじめに

音声通話アプリ(開発中)

iPhoneアプリ Speak Cast(仮) は音声データを intdash サーバーと送受信します。1

アプリ画面(開発中)

通話ができるアプリは Zoom / Teams / LINE など色々ありますが、intdashで他の計測データと時系列をあわせてデータ保存できるのが特徴です。

主に以下の機能を持っています。

  • 音声データ送信:PCM、AAC
  • 音声テキスト化・データ送信:文節単位、文章単位
  • GNSSデータ送信:緯度、経度、高度、速度
  • 通話先エッジからのデータ受信・音声データ、テキストデータ
  • ミュート:自分、通話先エッジごと

音声データ送信設定

やってみた

ちょうど社用車での出張がありましたので、以下の構成で試しました。

  • 社用車の搭乗者:1名
  • 遠隔監視者:3名

全体構成図

アプリ利用

実際のリアルタイム計測とプレイバック再生のようすです。

youtu.be

使ってみた感想です。

いい点
  • ちゃんと会話できている
    • 手軽に音声を送受信できています。
  • 計測に残る
    • 過去データとして再生した際も会話としてなりたっています。
  • 無音時はデータ送信されずに通信量節約
    • 長時間計測だと嬉しい機能です。
改善点
  • テキスト化エンジンの精度・安定性
    • 通話者の滑舌のせいか文字起こしされたテキストの誤りが目立ちます。
    • エンジンの見直しで改善される範囲と思います。

ChatGPT解析

この記事は実はここからが本番です。

音声データがテキスト化されることで、自然言語分析ができるようになります。

こちらの記事の方法でデータ分析を行います。

tech.aptpod.co.jp

CSVダウンロード

まずはData VisualizerからCSVファイルとして計測データをダウンロードします。

途中でエンジンを再始動して計測が区切られているため、時間範囲を指定します。

https://example.intdash.jp/vm2m/?playMode=storedData&startTime=2025-11-19T16:45:03.000%2B09:00&endTime=2025-11-19T21:48:01.000%2B09:00

CSVダウンロード

  • 社用車の搭乗者
    • 文字起こしテキスト
    • GNSS
  • 遠隔監視者
    • 文字起こしテキスト

CSVファイル

データ分析

分析を始めます。

課題
走行経路は渋滞していたか。


ChatGPTにCSVファイルをアップロードして、基本情報を確認します。

音声通話アプリで収集した、自動車走行中のGNSSデータと複数名(車両搭乗者、遠隔監視者)の会話のCSVデータをアップロードします。
GNSSデータ(緯度経度、速度、高度、方位)、会話(音声文字起こし文)が含まれます。
課題:車両走行に渋滞していたか
のためにデータ分析を行います。

以下を確認してください。
- 項目の一覧
- データ行数
- タイムスタンプ範囲

データの確認

データ項目を整えます。

データを整えてください。
- 見やすさのため、GNSSデータの項目名の"GNSS_"と"@"以降を削除してください。
- 見やすさのため、会話(音声文字起こし)データの項目名の"Transcription_Sentence@transcription/sentence"と"[", "]"を削除して、列名を発話者のみにください。
- 空の値が含まれます。GNSSデータについては直前の値を使用して穴埋め(forward fill)してください。

また、
- 分析結果のグラフは英語で、本文は日本語で表記してください。

データクレンジング

分析の前提として発話の信頼度を確認します。

搭乗者(ise)の発話・タイミングの信頼性を検証します。
車両の現在地点に関する発話がある場合、その発話内容と、その時間の緯度経度データから得られる地名はどのぐらい一致していますか。
車両の現在地点に関する発話とは、
「今、(地名、高速道路のICやPA名)にいます/出発しました/到着しました」のような発話を指します。

発話とGNSSの同期確認

逆ジオコーディング、緯度経度から住所が引けないので確認できないと言われました。

発話の件数が少ないため、逆ジオコーディングを行わず、地点にまつわる発話を地図上にプロットして目視でおおよそ確認します。

逆ジオコーディングを行わず、地名の発話の精度をおおよそ確認する方法を試します。
GNSSの緯度経度データを、PythonのFoliumを使ってプロットしてください。
現在位置(地名、高速道路のICやPA名)に関する発話があった時間帯の緯度経度には、その地点にピンを打ち、発話内容を記載してください。
出力後、発話内容のピンを何本打ったか教えてください。

地図に地点にまつわる発話をプロット
だいたいの発話位置を確認

天気がどうだったかも聞いてみます。

お天気はいかが

それでは、渋滞があったかを確認します。

発話とGNSSデータで分析してもらいます。

渋滞に関する発話の確認

GNSSも複合的に分析

地図上にも表示してもらいましたが、目立った渋滞区間はなかったようです。

FoliumでGNSS緯度経度をプロットし、
渋滞該当時間帯を強調表示(低速区間を色分け、発話ピン)してください。

地図上への渋滞発話のプロット

速度と発話地点をプロット

結論
東名高速は少し渋滞したが、会話はスムーズだった。
アプリ開発も、データと対話しながら止まらずに進む。

おわりに

高速道路を走行中も、intdash経由で複数人数の通話ができました。

また、計測の音声をテキスト化するひと工夫で、LLMの生成AIで分析できました。

音声以外のデータとあわせることで多角的な分析が手軽に可能になります。

次はさらにデータ量が多い映像を分析させてみたいと思います。


  1. 現在、企画検討・開発中です。機能やUIは現在のものから大きく変わる可能性があります。