研究開発グループのエンジニアの酒井 (@neko_suki)です。
aptpod Advent Calendar 2020 の3日目を担当します。
研究開発グループでは、TCP/QUIC/UDP などのトランスポートプロトコルの製品適用に向けた検証を行っています。
aptpodの製品は車載などの移動体の組み込み機器もターゲットにしているため、これらのトランスポートプロトコルは4G/5G 上での使用が想定されます。
そこで、5Gを使用して、ネットワークの計測やトランスポートプロトコルを評価しようということになりました。
今回の記事では、5GのネットワークでGoogleのスピードテスト/ping/iperf3などの計測を行った結果を紹介します。
なお、トランスポートプロトコルの評価については、12/15 「5G上でのトランスポートプロトコルの評価」にて投稿する予定です。
計測用機材の紹介
まずは計測用機材を紹介します。
Googleスピードテストは、Xperia XZ2 SO-03K で計測しています。
pingとiperf3の計測用のクライアントは組み込み製品を想定しRaspberry Pi4を使用しました。pingとiperf3計測用のサーバーは、AWS上でEC2のm5.xlargeのUbuntuインスタンスを使用しました。Raspberry Pi側はubuntu 20.04、サーバー側はubuntu 18.04 を使用しています。
以下のような構成で計測をします。
5Gへの接続には、Docomoから販売されているモバイルルーター Wi-Fi STATION SH-52A を使用しています。 5G接続時には、画面が青く光り表示が「5G」に代わるため5Gに接続しているのかどうかの判別が可能です。
Raspberry PiとSH-52Aは有線で以下のように接続します。Raspberry Piと赤いケーブルで接続されているのはモバイルバッテリーです。
Wi-Fi STATION SH-52A では、手動で5Gと4Gを選択することはできない 1ため、4G計測用にはモバイルWi-FiルーターL-01G を使用しています。
L-01Gは有線接続がないためRaspberry Piとモバイルルーター間はWi-Fiで接続しました。
Wi-Fi 接続の影響について
公正に評価できるように、Raspberry PiとWi-Fi接続影響について調べました。
まずはRaspberry PiとL-01G間のRTTについてです。
Raspberry PiからL-01Gに対して、1秒間隔で1分間の設定でpingコマンドを実行しました。RTTの値は最小値3.1msec、平均値 7.952msec、最大値26.8msecでした。状況による変動はあると思いますが、今回は4GでpingによるRTTの計測を行うと8msec 程大きい値が出ると想定します。
次に、Wi-Fiの帯域確認のために、Raspberry PiとパソコンをそれぞれL-01G経由で接続しiperf3を使って両者の間の帯域を調べました。
結果は、TCP 31.5Mbps、UDP 32.1Mbpsとなりました。もし4Gの計測を行ったときにこの値で律速した場合は、Wi-Fiの影響があるかもしれません。
計測場所について
ドコモが5Gを提供しているエリアは、サービスエリアマップ から確認することが出来ます。
最初に会社のオフィスの近くにある新宿区の都庁周辺と渋谷ストリームで計測ができないか確認に行きました。下記の画像の赤い部分が5Gが入るといわれている場所です。
両者ともあまり芳しくなかったため、周辺に大きなビルなどがない日産スタジアムを調査対象に選びました。
都庁周辺の調査
都庁周辺は後述する3か所で確認をしました。5Gが入りますが、すぐに4Gに切り替わってしまい計測を行えるほど安定した接続は難しかったです。
新宿周辺は高いビルなどが多いため、5Gの直進性が高く減衰しやすいという特性による影響があったのかもしれません。
新宿区立新宿中央公園
新宿中央公園はエリアマップの範囲から少し外れていますが、時々5Gが入ることがありました。
新宿住友ビル1F フリースペース
新宿住友ビルの1Fのフリースペースは屋内ですが、5Gが入りました。コンクリートではなくガラス張りだったのが影響しているかもしれないです。
新宿三井ビル前のオープンスペース
ここは上記の2か所よりは安定して5Gが拾えました。しかし、4Gに切り替わることが多かったため計測には不向きと考えられます。
渋谷ストリーム
渋谷ストリームはイベントホール内での接続が可能のようです。イベントホールには入れませんでしたが、4Fで一瞬だけ5Gを拾えました。しかしそれ以降5Gは拾えませんでした。
日産スタジアム周辺
都庁周辺・渋谷では厳しそうだったので、日産スタジアムを訪問しました。
日産スタジアムの周りは高いビルなどもなく、5Gの接続状況はかなり良かったです。 ということで、日産スタジアム周辺で計測を行いました。
計測結果
googleのスピードテスト
スピードテストはgoogleが提供している回線速度計測のサービスです。上りと下りのスループットを計測することが出来ます。 スピードテストはSH-52A、L-01G をXperia XZ2 SO-03KとWi-Fiで接続して行いました。
場所による変化を見るために、スタジアムの東ゲート付近の3か所で計測しています。
計測場所①
Smile Table という建物の脇の場所で計測しました。
5Gの結果は、ダウンロードが76.1Mbps、アップロードが63.4Mbpsでした。
一方で4Gの結果は、ダウンロードが7.38Mbps、アップロードが18.6Mbpsになりました。
計測場所②
次に計測したのは東ゲート前です。
5Gの結果は、ダウンロードが50.7Mbps、アップロードが25.1Mbpsでした。
一方で4Gの結果は、ダウンロードが4.18Mbps、アップロードが17.5Mbpsになりました。
計測場所③
3か所目は、東ゲート付近の広場です。
5Gの結果は、ダウンロードが92.7Mbps、アップロードが36.7Mbpsでした。
一方で4Gの結果は、ダウンロードが16.5Mbps、アップロードが27.3Mbpsになりました。
ばらつきはありますが3か所すべてでダウンロード・アップロードともに5Gの方が4Gよりもスループットが高い結果になりました。
pingの計測
pingの計測は、計測場所③で行っています。
pingコマンドを使って1秒間隔で60秒間RTTを計測しました。 Raspberry PiからAWS上のEC2インスタンスまで60秒の間に1秒間隔で計測しています。
ヒストグラムのプロット結果は以下のようになります。（外れ値は除いています）
RTTにはばらつきがありますが、傾向として5Gの方が小さい値になっています。2
また、最小値、平均値、最大値は以下のようになりました。
| 最小値 | 平均値 | 最大値 | |
|---|---|---|---|
| 5G | 26.8msec | 38.5msec | 47.9msec |
| 4G | 58.3msec | 74.8msec | 93.9msec |
参考までに、L-01GとのRaspberry Pi間のRTTの平均で8msecを引いてプロットしても、傾向は変わらないと言えそうです。
iperf3の計測
iperf3の計測も計測場所③で行っています。
ここでは、UDPとTCP（輻輳制御はBBRを使用）それぞれ20秒間の上りの計測を3回行いました。
UDPの結果
UDPの計測は律速する上限まで帯域を上げてみて計測をしてみました。5Gは50Mbps、4Gは25Mbpsを設定しています。
計測結果は以下のようになりました。
| 1回目 | 2回目 | 3回目 | |
|---|---|---|---|
| 5G | 45.2Mbps | 47.0Mbps | 47.0 Mbps |
| 4G | 17.4Mbps | 24.6Mbps | 25.0 Mbps |
L-01Gの上限は30Mbpsと思われるので、4GはWi-Fiの接続で律速されているわけではなさそうです。
TCPの結果
TCPの場合はビットレートの指定をしないと上限まで流そうとするので、ビットレートの指定はしません。
計測結果は以下のようになりました。
| 1回目 | 2回目 | 3回目 | |
|---|---|---|---|
| 5G | 15.9Mbps | 17.8Mbps | 34.4 Mbps |
| 4G | 9.33Mbps | 11.1Mbps | 12.3 Mbps |
同じ計測場所③で計測したスピードテストとは差分がありますが、これは計測方法の違いが影響している可能性がありそうです。
iperf3の結果からUDP/TCPともに5Gの方が4Gよりもスループットが高いことが期待出来そうです。
まとめ
今回は「5Gのネットワークを計測してみた」について紹介しました。
今回の計測結果から5GによるRTTやスループットの改善には期待が出来そうです。3
次回は、12/15 に 「5Gでのトランスポートプロトコルの評価」についてご紹介する予定です。
最後までご覧いただきありがとうございました。
-
この記事を書いているときに気が付きましたが実際には「5G/4G/3G」モードと「4G/3G」モードを選べるようです。12/15 投稿予定の「5G上でのトランスポートプロトコルの評価」の記事は4Gの計測もSH-052Aを利用して計測した結果を載せたいと思います↩
-
モバイルルーターを統一した結果、RTTの値はほぼ同じ値になることを確認しました。詳細は次の記事をご確認ください。：5Gでのトランスポートプロトコルの評価 - aptpod Tech Blog↩
