5Gのネットワークを計測してみた

f:id:aptpod_tech-writer:20201202180838j:plain

研究開発グループのエンジニアの酒井 (@neko_suki)です。

aptpod Advent Calendar 2020 の3日目を担当します。

研究開発グループでは、TCP/QUIC/UDP などのトランスポートプロトコルの製品適用に向けた検証を行っています。

aptpodの製品は車載などの移動体の組み込み機器もターゲットにしているため、これらのトランスポートプロトコルは4G/5G 上での使用が想定されます。

そこで、5Gを使用して、ネットワークの計測やトランスポートプロトコルを評価しようということになりました。

今回の記事では、5GのネットワークでGoogleのスピードテスト/ping/iperf3などの計測を行った結果を紹介します。

なお、トランスポートプロトコルの評価については、12/15 「5G上でのトランスポートプロトコルの評価」にて投稿する予定です。

計測用機材の紹介

まずは計測用機材を紹介します。

Googleスピードテストは、Xperia XZ2 SO-03K で計測しています。

pingとiperf3の計測用のクライアントは組み込み製品を想定しRaspberry Pi4を使用しました。pingとiperf3計測用のサーバーは、AWS上でEC2のm5.xlargeのUbuntuインスタンスを使用しました。Raspberry Pi側はubuntu 20.04、サーバー側はubuntu 18.04 を使用しています。

以下のような構成で計測をします。

f:id:aptpod_tech-writer:20201202164831p:plain
構成図

5Gへの接続には、Docomoから販売されているモバイルルーター Wi-Fi STATION SH-52A を使用しています。 5G接続時には、画面が青く光り表示が「5G」に代わるため5Gに接続しているのかどうかの判別が可能です。

f:id:aptpod_tech-writer:20201202102851j:plain
5G接続時

Raspberry PiとSH-52Aは有線で以下のように接続します。Raspberry Piと赤いケーブルで接続されているのはモバイルバッテリーです。

f:id:aptpod_tech-writer:20201202091304j:plain
5G を計測する機器の構成

Wi-Fi STATION SH-52A では、手動で5Gと4Gを選択することはできない 1ため、4G計測用にはモバイルWi-FiルーターL-01G を使用しています。

L-01Gは有線接続がないためRaspberry Piとモバイルルーター間はWi-Fiで接続しました。

f:id:aptpod_tech-writer:20201202091711j:plain
4G 計測用機器の構成

Wi-Fi 接続の影響について

公正に評価できるように、Raspberry PiとWi-Fi接続影響について調べました。

まずはRaspberry PiとL-01G間のRTTについてです。

Raspberry PiからL-01Gに対して、1秒間隔で1分間の設定でpingコマンドを実行しました。RTTの値は最小値3.1msec、平均値 7.952msec、最大値26.8msecでした。状況による変動はあると思いますが、今回は4GでpingによるRTTの計測を行うと8msec 程大きい値が出ると想定します。

次に、Wi-Fiの帯域確認のために、Raspberry PiとパソコンをそれぞれL-01G経由で接続しiperf3を使って両者の間の帯域を調べました。

結果は、TCP 31.5Mbps、UDP 32.1Mbpsとなりました。もし4Gの計測を行ったときにこの値で律速した場合は、Wi-Fiの影響があるかもしれません。

計測場所について

ドコモが5Gを提供しているエリアは、サービスエリアマップ から確認することが出来ます。

最初に会社のオフィスの近くにある新宿区の都庁周辺と渋谷ストリームで計測ができないか確認に行きました。下記の画像の赤い部分が5Gが入るといわれている場所です。

f:id:aptpod_tech-writer:20201202092826p:plain
都庁周辺の5Gエリアマップ

f:id:aptpod_tech-writer:20201202092849p:plain
渋谷ストリーム周辺の5Gエリアマップ

両者ともあまり芳しくなかったため、周辺に大きなビルなどがない日産スタジアムを調査対象に選びました。

f:id:aptpod_tech-writer:20201202092908p:plain
日産スタジアム周辺の5Gエリアマップ

都庁周辺の調査

都庁周辺は後述する3か所で確認をしました。5Gが入りますが、すぐに4Gに切り替わってしまい計測を行えるほど安定した接続は難しかったです。

新宿周辺は高いビルなどが多いため、5Gの直進性が高く減衰しやすいという特性による影響があったのかもしれません。

新宿区立新宿中央公園

新宿中央公園はエリアマップの範囲から少し外れていますが、時々5Gが入ることがありました。

f:id:aptpod_tech-writer:20201202092719j:plain
新宿中央公園

新宿住友ビル1F フリースペース

新宿住友ビルの1Fのフリースペースは屋内ですが、5Gが入りました。コンクリートではなくガラス張りだったのが影響しているかもしれないです。

新宿三井ビル前のオープンスペース

ここは上記の2か所よりは安定して5Gが拾えました。しかし、4Gに切り替わることが多かったため計測には不向きと考えられます。

f:id:aptpod_tech-writer:20201202093700j:plain
新宿三井ビル前

渋谷ストリーム

渋谷ストリームはイベントホール内での接続が可能のようです。イベントホールには入れませんでしたが、4Fで一瞬だけ5Gを拾えました。しかしそれ以降5Gは拾えませんでした。

日産スタジアム周辺

都庁周辺・渋谷では厳しそうだったので、日産スタジアムを訪問しました。

f:id:aptpod_tech-writer:20201202093801j:plain
日産スタジアム

日産スタジアムの周りは高いビルなどもなく、5Gの接続状況はかなり良かったです。 ということで、日産スタジアム周辺で計測を行いました。

計測結果

googleのスピードテスト

スピードテストはgoogleが提供している回線速度計測のサービスです。上りと下りのスループットを計測することが出来ます。 スピードテストはSH-52A、L-01G をXperia XZ2 SO-03KとWi-Fiで接続して行いました。

場所による変化を見るために、スタジアムの東ゲート付近の3か所で計測しています。

計測場所①

Smile Table という建物の脇の場所で計測しました。

f:id:aptpod_tech-writer:20201202094001j:plain
日産スタジアム計測場所①

5Gの結果は、ダウンロードが76.1Mbps、アップロードが63.4Mbpsでした。

f:id:aptpod_tech-writer:20201202094103p:plain:w360
日産スタジアム場所①5Gスピードテストの結果

一方で4Gの結果は、ダウンロードが7.38Mbps、アップロードが18.6Mbpsになりました。

f:id:aptpod_tech-writer:20201202094125p:plain:w360
日産スタジアム場所①4Gのスピードテストの結果

計測場所②

次に計測したのは東ゲート前です。

f:id:aptpod_tech-writer:20201202094319j:plain
日産スタジアム場所②

5Gの結果は、ダウンロードが50.7Mbps、アップロードが25.1Mbpsでした。

f:id:aptpod_tech-writer:20201202094545p:plain:w360
日産スタジアム計測場所② 5Gスピードテストの結果

一方で4Gの結果は、ダウンロードが4.18Mbps、アップロードが17.5Mbpsになりました。

f:id:aptpod_tech-writer:20201202094608p:plain:w360
日産スタジアム計測場所② 4Gスピードテストの結果

計測場所③

3か所目は、東ゲート付近の広場です。

f:id:aptpod_tech-writer:20201202094656j:plain
日産スタジアム計測場所③

5Gの結果は、ダウンロードが92.7Mbps、アップロードが36.7Mbpsでした。

f:id:aptpod_tech-writer:20201202095131p:plain:w360
日産スタジアム計測場所③ 5Gスピードテストの結果

一方で4Gの結果は、ダウンロードが16.5Mbps、アップロードが27.3Mbpsになりました。

f:id:aptpod_tech-writer:20201202095155p:plain:w360
日産スタジアム計測場所③ 4Gスピードテストの結果

ばらつきはありますが3か所すべてでダウンロード・アップロードともに5Gの方が4Gよりもスループットが高い結果になりました。

pingの計測

pingの計測は、計測場所③で行っています。

pingコマンドを使って1秒間隔で60秒間RTTを計測しました。 Raspberry PiからAWS上のEC2インスタンスまで60秒の間に1秒間隔で計測しています。

ヒストグラムのプロット結果は以下のようになります。(外れ値は除いています)

f:id:aptpod_tech-writer:20201202095909p:plain
pingの結果

RTTにはばらつきがありますが、傾向として5Gの方が小さい値になっています。2

また、最小値、平均値、最大値は以下のようになりました。

最小値 平均値 最大値
5G 26.8msec 38.5msec 47.9msec
4G 58.3msec 74.8msec 93.9msec

参考までに、L-01GとのRaspberry Pi間のRTTの平均で8msecを引いてプロットしても、傾向は変わらないと言えそうです。

f:id:aptpod_tech-writer:20201202100103p:plain
pingの結果 4GはWi-Fi分8msecを引いた

iperf3の計測

iperf3の計測も計測場所③で行っています。

ここでは、UDPとTCP(輻輳制御はBBRを使用)それぞれ20秒間の上りの計測を3回行いました。

UDPの結果

UDPの計測は律速する上限まで帯域を上げてみて計測をしてみました。5Gは50Mbps、4Gは25Mbpsを設定しています。

計測結果は以下のようになりました。

1回目 2回目 3回目
5G 45.2Mbps 47.0Mbps 47.0 Mbps
4G 17.4Mbps 24.6Mbps 25.0 Mbps

L-01Gの上限は30Mbpsと思われるので、4GはWi-Fiの接続で律速されているわけではなさそうです。

TCPの結果

TCPの場合はビットレートの指定をしないと上限まで流そうとするので、ビットレートの指定はしません。

計測結果は以下のようになりました。

1回目 2回目 3回目
5G 15.9Mbps 17.8Mbps 34.4 Mbps
4G 9.33Mbps 11.1Mbps 12.3 Mbps

同じ計測場所③で計測したスピードテストとは差分がありますが、これは計測方法の違いが影響している可能性がありそうです。

iperf3の結果からUDP/TCPともに5Gの方が4Gよりもスループットが高いことが期待出来そうです。

まとめ

今回は「5Gのネットワークを計測してみた」について紹介しました。

今回の計測結果から5GによるRTTやスループットの改善には期待が出来そうです。3

次回は、12/15 に 「5Gでのトランスポートプロトコルの評価」についてご紹介する予定です。

最後までご覧いただきありがとうございました。


  1. この記事を書いているときに気が付きましたが実際には「5G/4G/3G」モードと「4G/3G」モードを選べるようです。12/15 投稿予定の「5G上でのトランスポートプロトコルの評価」の記事は4Gの計測もSH-052Aを利用して計測した結果を載せたいと思います

  2. モバイルルーターを統一した結果、RTTの値はほぼ同じ値になることを確認しました。詳細は次の記事をご確認ください。:5Gでのトランスポートプロトコルの評価 - aptpod Tech Blog

  3. 2と同上