ストリートビューアプリの「Driving Mode」に要求される画像品質の考察

ストリートビューアプリに、「Driving Mode」という機能が新設されました。
環境によっては「動画」と表示されているかも知れません。
運転中に動画を撮影し続けるためのモードです。
もしかしたら、まだ、全員のストリートビューアプリで利用できるわけではなくて、ローカルガイドのレベルや、SVTPであるか否かでフィルタリングされているかも知れません。過渡期ですので状況がどんどん変わっているようです。

これは、スマホのカメラを使用して動画が撮影されるものです。
また、撮影者はその動画から作成されたストリートビュー写真のURLを得ることが出来ます。
しかし、現段階ではその写真はGoogleマップWeb上には青点などの目印が表示されないために、他のユーザーがGoogleマップWebから、それらの写真を見つけることは出来ません。

その撮影例を以下のコメント内に示しました。
https://www.localguidesconnect.com/t5/General-Discussion/ストリートビュー-アプリに運転モード現る/m-p/2768135/highlight/true#M1024353
https://www.localguidesconnect.com/t5/Street-View-Discussion/Driving-Mode-on-Street-View/m-p/2760959/highlight/true#M46933

https://goo.gl/maps/EuT6PkxrrwCKp4A36

私が Pixel 3 で撮影した場合には、このモードで撮影された動画は 2K、約30fpsでした。

この機能はたぶん、人間が閲覧して観賞するためのストリートビューを撮影するための機能ではありません。
街中を走る自動車に装着してもらって、リアルタイムに近い状態の道路の情報を取得して、自動運転のためのデータベースを作成するための機能なのだと推測しています。

何回かこの機能で撮影を行いました。
すでに季節は秋深しの状態で気温も低いのですが、10分程度でスマホが過熱して「撮影を停止してください」のようなメッセージが出てしまいます。
エアコンの風を直接スマホに当てて空冷するともっと長く撮影できます。
このように現段階では、私のスマホを使う限りは、機材の状況を確認すること無く長時間撮影することは不可能なようです。

また、画質についてですが、スマホ自体はもっと高画質の撮影が出来るにも関わらずに、2K程度で撮影しているということは、Googleが必要としている情報はこの画質でも十分得られているのではないかと想像しています。
しかし もしかしたら、
・この機能が動作するスマホの最低要件が定められる
・2K程度の動画撮影なのにスマホが過熱してシャットダウンしてしまう現状をなんとか回避できるようになる
などの改良を施しつつ、高画質を目指すのかも知れませんね。

以上、推測ばかりの内容ですみません。

さて、同様の機能は、同様の地図情報サービスである Mapillaryではすでに提供されていました。
Mapillaryでも、ストリートビューと同様にユーザーからの画像アップロードが可能です。
いや、その程度ではなくて、ユーザーからアップロードされた画像のみで成立しているようです。

そして、ストリートビューのような360度画像は少ないです。
多くのユーザーは、スマホを自動車のフロントガラス内に設置して、スマホで撮影した平面の画像をアップロードしています。
カメラの設置方向は、車両に対して正面の向きから45度刻みで設定するようになっています。その情報があることにより、画像の処理が簡単になるのだと思います。
撮影動作はほとんど自動です。静止画を、一定の距離ごとに撮影しているようです。
その静止画をユーザーが画像ファイルとして得ることは出来ません。Mapillaryのアプリのデータ領域内に保管されて、サーバーにアップロードしたあとは削除されます。

もちろん、アップロードされた画像はWebで閲覧できます。

そして、それらの画像について、品質スコアを付加する機能が先日公開されました。詳しくは以下のリンク先を御覧ください。
https://blog.mapillary.com/update/2020/11/05/introducing-the-quality-score.html
Googleストリートビューの「Driving Mode」も同様の情報を得るための機能だと推測できますので、このMapillaryの品質スコアの評価方法から、なにか有意義な情報が得られるかも知れません。

私が Mapillaryにアップロードした画像に対する品質スコアがどうなっているか、確認しました。

上記の記事中では、1~5の5段階 (5が最高品質) と書かれていますが、その評価外のもの(箸にも棒にもかからないもの)として無評価のものがありました。
よって、実際には6段階で評価されています。

ただし、学校の通信簿と違って、評価 3 がとても少ないように感じます。3を見つけるのに苦労しました。正規分布には程遠くて、「凹」のような分布になっています。
そして、その評価についての私の感想ですが、、、、正直言って、まだ、よくわかりません。
基準となる項目は記事中に挙がっていますが、それぞれの評価方法についての詳細は書かれていませんよね。
まだまだチューニング中なのだと思います。

いくつか事例を挙げておきます。今後、評点が変化した場合によく分かると思います。

まずは、360度ではない平面の写真を研究します。

◆平面、品質スコアの評価がされていないもの

https://www.mapillary.com/map/im/CaZMJvvzcjzRAYjCU6p6yA

https://www.mapillary.com/map/im/VZm0PmsxFzGv0QxFnzW4sg

https://www.mapillary.com/map/im/b6CvSfvNuUovEmFAbpPGRQ

◆平面、品質スコア 1

https://www.mapillary.com/map/im/DxW_RerU49vhMqGMzCPkzA

https://www.mapillary.com/map/im/CmNm0upI6k-VJYho4w0JTQ

https://www.mapillary.com/map/im/98kETBShTBOADW4cehC8FY

https://www.mapillary.com/map/im/iWteeNSzbmnFjCHfPI8rYQ

◆平面、品質スコア 2

https://www.mapillary.com/map/im/aswi1mO_o4n_S9miGUGhlA

https://www.mapillary.com/map/im/QQMr5Sog-aFQ-6WeIZ6BNQ

https://www.mapillary.com/map/im/QHWgAAcDDO7IW7tyzJckI7

https://www.mapillary.com/map/im/3KM6vQq1aPnoydXZvcT_qg

◆平面、品質スコア 3

https://www.mapillary.com/map/im/l1X4fMvFhHrGG7bOTo1xXw

https://www.mapillary.com/map/im/WZRSt-jyQ2jhO92ukKxImQ

https://www.mapillary.com/map/im/9725jFIl2CEgLKvZDFCVSA

https://www.mapillary.com/map/im/1zYVsCofSxAnICQm5Iyv_g

◆平面、品質スコア 4

https://www.mapillary.com/map/im/1-yvOVaPfDqBR-SFoDTtkA

https://www.mapillary.com/map/im/Ao-ZTMvXpFlEPpwaCKvkjw

https://www.mapillary.com/map/im/0iF5E63RneYsq4JnR4N7r1

https://www.mapillary.com/map/im/SLE3Matvpc9FzME6dtk3HQ

◆平面、品質スコア 5

https://www.mapillary.com/map/im/wGZAruVca0P9o0F2lG53QQ

https://www.mapillary.com/map/im/PJEoE5PYNdiMMyO8hG1EvA

https://www.mapillary.com/map/im/qqR3-MGTEatQv3IszI0VUQ

https://www.mapillary.com/map/im/PhapXU5vRZZmL89mKT6AZA

https://www.mapillary.com/map/im/lVBSvTeIaGhFvxR1gpfCJQ

次に、360度写真について調べます。
こちらも、いろいろあります。

◆360度、品質スコアの評価がされていないもの

https://www.mapillary.com/map/im/Q4rfICegwRw4OS0bF0uSHA

https://www.mapillary.com/map/im/SFWNt2MwUWyRJrapOgL9gO

https://www.mapillary.com/map/im/i5uFBVlmNXZ7dEHtXrsqpQ

◆360度、品質スコア 1

https://www.mapillary.com/map/im/fNU4-ZUrYDr1Lp88XR6VPQ

https://www.mapillary.com/map/im/unIx9gVTulyrVZNzG1PlTk

https://www.mapillary.com/map/im/9IBZU0T2eRfgRQNcfVA0og

https://www.mapillary.com/map/im/UIA4JnBsbswy53A6iTFyyb

◆360度、品質スコア 2

https://www.mapillary.com/map/im/2rLpUtSDRgzMauoRSS75kw

https://www.mapillary.com/map/im/vWGMBiyStfdhhJyIcOBPMu

https://www.mapillary.com/map/im/mHei5NsDSjv9DwzXB4-nrg

◆360度、品質スコア 3

https://www.mapillary.com/map/im/sNybARprBMlLBKVI6vt8lg

https://www.mapillary.com/map/im/GsTNS176DYTGHZfsVpbci0

https://www.mapillary.com/map/im/dMxf6QPolMJEceLiumxJjV

◆360度、品質スコア 4

https://www.mapillary.com/map/im/AppC_Y6qlcTsoUgBatjbOg

https://www.mapillary.com/map/im/ZTG0RpP2G3wN_njTy9gmcA

https://www.mapillary.com/map/im/qDt0TgD8cY4Fw1TyU6yLE9

https://www.mapillary.com/map/im/r03ZNpwWABuUw4PYXE3qpo

◆360度、品質スコア 5

https://www.mapillary.com/map/im/_f8xw7KygxfhF6nTzicx3g

https://www.mapillary.com/map/im/TEKVgbpCG9l7GmXfup2BRQ

https://www.mapillary.com/map/im/hwkr5PGdzkStQL3CgxTEqw

間違って、Null島にアップロードしてしまったものの中にも品質 5 があります。
https://www.mapillary.com/map/im/Nsqz3etL9p6gDyoBGAwRcA

https://www.mapillary.com/map/im/Gmk2xCZecsIQ1nz70e87Dx

https://www.mapillary.com/map/im/Z07VXSKzOdaTKny6QntUdJ

https://www.mapillary.com/map/im/l3u3zbRyFZAwOgphpbZkoD

https://www.mapillary.com/map/im/eUC4CRcB2GvRtW24eupPIQ

これらを見ると、やっぱりワタクシ、評価のレベル付けが全く理解できません。
人間が思う基準とは全く異なるモノサシがあるのでしょうね。

振り返ってみて、Googleが、新しい「Driving Mode」に求める品質は、どのようなものなのでしょうか。
やはり、人間が見てきれいだと思う画像ではなく、自動運転用の情報として欲する画像には別の基準が出来てくるものと思われます。

3 Likes

https://www.mapillary.com/map/im/tCaT3OYWMFk2MHS36PUIlR

この写真から、画面上部の">"の順に進めて、各写真の品質スコアを御覧ください。
全てのスコアが現れます。
1枚めから順にスコアを列挙すると、以下のようになります。(スコアの評価対象外は 0 と表記しました。)
0,3,4,1,4,5,4,4,4,4,3,3,5,5,4,4,3,4,3,4,4,4,4,4,3,4,4,4,4,4,4

あ、"2"が含まれていませんでしたので、近場から"2"を探しました。以下が品質スコア 2 の写真です。
https://www.mapillary.com/map/im/QxAHO1gvL4t0eBWPlHMklX
なお、上記写真の前後は両方とも “5” です。2枚前は"1"です。

やっぱり、私には品質スコアの評価基準は理解できません。
このスコアがMapillaryの要求する基準に沿った正しい評価であるのならば、私はたぶん、永遠にMapillaryが要求する品質基準を理解できないことでしょう。

以上より、私は、現段階では、このスコアは全く気にする必要が無い(このスコアを良くしようと努力して撮影することが不可能である)ものだと判断します。

Mapillaryの中の人に、品質基準についての説明を求めてみました。

https://www.facebook.com/groups/mapillary/permalink/2514926318807326?comment_id=2523840847915873

答えてくれるかな?

そして、Googleも写真の品質について評価して、それをなんらかの指標(投稿者のレベル付けや閲覧者によるフィルタリングなど)に使う予定はあるのかな?

Mapillary の現状の品質スコアの例 :

Quality 0 : https://www.mapillary.com/map/im/tCaT3OYWMFk2MHS36PUIlR

Quality 1 : https://www.mapillary.com/map/im/lys2qsQKljCW1JJCKWHDZ3

Quality 2 : https://www.mapillary.com/map/im/QxAHO1gvL4t0eBWPlHMklX

Quality 3 : https://www.mapillary.com/map/im/IqWQQdEsZzXdgKIlZLsL2W

Quality 4 : https://www.mapillary.com/map/im/JXn4hf1rwlaB1mCs9QiiEA

Quality 5 : https://www.mapillary.com/map/im/qzF8qrutL6VWfxazfMkDRO

なお、画像をWebで表示するときの遅延の様子などから、品質スコアは画像とともに「記録」されている情報ではなく、表示のたびに、その都度計算されているものであるのだと私は推測しています。
そして、その品質スコアを私が観察した結果、ここ一週間の間、同じ画像についてはずっと同じスコアを表示しているようです。
その評価基準の一貫性という面においては、この品質スコアの評価システムの動作は優秀なものであると私は感じています。

新動画モード(運転モード)の使いみちを模索しています。

このモードで提供されている機能だけを見ると、私には撮影の楽しみもメリットも全く有りません。
撮影されたストリートビュー写真は、道路近傍のオブジェクトのデータを取るためには役立ちそうです。つまり、自動運転用にGoogleがデータ販売を行うための下働きになります。
しかし、その写真を鑑賞しても私は何も面白みを感じません。

ところで、それを4方向(もしかしたら8方向必要かも)で組み合わせたら、人が見ても楽しむことが出来るような写真が出来るのじゃないかな。
そのようなテストを実施しました。

最初にこの提案をしたのは、以下の記事です。
https://www.localguidesconnect.com/t5/Announcements/Introducing-Connected-Photos-and-more-in-the-updated-Street-View/bc-p/2794867/highlight/true#M81962

4方向の撮影をした実施報告はこちら。
https://www.localguidesconnect.com/t5/Announcements/Introducing-Connected-Photos-and-more-in-the-updated-Street-View/bc-p/2796432/highlight/true#M82019

FacebookのGoogle Street View Trusted Photographersグループへの報告はこちら。
https://www.facebook.com/groups/GoogleStreetViewTrustedPhotographers/permalink/1794835974025441/

うまくいくと面白いことになりそうです。
ストリートビューカーの側面にスマホ4台~8台を貼り付けて撮影することにより、
・カメラの高さによって塀の向こうを見ることが出来てしまうというプライバシーの問題
・カメラを低くすると自動車の映り込み面積が大きくなってしまうという問題
を解決することが出来ます。