Examining the validity of the output of RICOH THETA Stitcher

[potaro67]

■ Conclusion of this article
The maximum resolution obtained when shooting the THETA Z1 is in the horizontal direction and in the vertical direction from the center of the lens, and the resolution is 6720 pixels per round.
Since the maximum resolution of optical hardware is that value, the value of 7296 x 3648 of the resolution of the image output from RICOH THETA Stitcher is not particularly meaningful. (We can never get an image with a resolution exceeding 6720 pixels in one round)
Since the output is at a resolution slightly higher than the resolution of the optical system, the effect of blurring due to resampling is significant.
In order to maintain the resolution, I think it is better to output at 6720 x 3360, which has the same resolution as the optical system.
Or I think it would be nice to be able to choose a resolution that goes far beyond that.

この記事の結論
THETA Z1の撮影時に得られる解像度は水平方向、及びレンズ中心からの垂直方向が最大であり、一周で6720ピクセルの分解能である。
光学ハードウェアでの最大の分解能がその値であるため、RICOH THETA Stitcherからアウトプットされる画像の解像度の 7296×3648 という数値には特に意味はない。(一周で6720ピクセルを超す分解能の画像は決して得られない)
光学系の分解能よりも僅かに高い解像度でアウトプットされるため、再サンプリングによるボケの影響が大きく出ています。
分解能を維持するためには、光学系と同じ分解能であるところの 6720×3360 でアウトプットすることが良いと私は思います。
あるいは、それを遥かに超える解像度を選択できるようになることも良いと思います。

◆はじめに

Z1本体で生成されるJpegは 6720×3360 のエクイレクタングラーです。
しかし、Z1の Dual Fisheye の RAW画像( 7296×3648 )から、RICOH THETA Stitcher で処理すると RAW画像と同じ 7296×3648 の解像度のエクイレクタングラーが得られます。
この 7296×3648 のサイズのエクイレクタングラーが得られることは妥当かどうか。
検証しました。

◆私が出した結論の詳細は以下の通りです。

RAW現像では、写真を美しく仕上げることが出来ます。
以下の理由により、見た目の美しさを増す効果があります。
・ステッチの正確さ
・Jpeg圧縮による情報欠落を防げる
・RAWの色情報の深度(ダイナミックレンジ)を利用することによる色や明るさの情報の正確さ、あるいはダイナミックレンジの確保
・その他、エッジ強調、カスミ除去、ノイズ除去などによる視覚的な美しさの強調処理

しかし、RAW現像では決して、解像度を高めることは出来ません。
それどころか、現在の 7296×3648 のサイズでアウトプットする仕様は、水平方向においては再サンプリングによる画質の劣化を発生させる可能性があります。

さて、様々な数値をもっと細かく検証していきます。
RAW画像( 7296×3648 )をディスプレーに表示して、そこにに定規を当てて、重なっているサイズを実測してみました。

1つの円の直径15.2cmのうち、周辺の1.2cm幅の領域が反対側の円内にも写っています。
重なっている部分の半分がステッチの際に捨てられます。
ですから、15.2cmのうち、利用可能なサイズは14cm程度です。

つまり、RAW画像のうち、最も高解像度で利用可能である円の水平垂直の両方向の直径の有効ピクセル数は以下のとおりです。
3648×(14/15.2) = 3360
そのままエクイレクタングラーにすると、6720×3360 です。
これは、Z1本体で生成されるJpegファイル(6720×3360)と全く同じサイズです。目視で測定した誤差を含んでいるにも関わらず、とても都合の良い数値になってしまいました。

THETA Z1の魚眼レンズは等距離射影だと思います。
ですから、2つの円の中心を通る水平方向、および2つの円の中心からの2本の垂直方向において、RAWでの1ピクセルは、π/3360 [rad] の画角に対応しています。
この角度は、40 [m] 離れた場所では 3.7 [cm] に相当します。( 40[m]×tan(π/3360) ≒ 0.037[m] )

これは、標準サイズの速度制限標識(直径60cm)の青文字の幅である約4cmに相当します。
この計算結果は以下の実験結果とも合致しています。
https://www.localguidesconnect.com/t5/General-Discussion/Evaluation-index-of-resolution-using-speed-limit-sign/m-p/2871191

ですから、中心の水平線においては、RAW画像とZ1内部で生成されているJpegファイルとは全く等しい解像度を持っています。
しかし、現在のRICOH THETA Stitcherからのアウトプットは、入力のRAW画像と同じ 7296×3648 です。約8.6％拡大されています。
しかしこれは、解像度が増したわけではありません。
むしろ、8.6％という微妙な比率の拡大をすることによって水平方向の情報量は減ってしまっているものと考えられます。

これは、再サンプリングによってボケが発生する様子の模式図です。
オレンジ色のグラフのように、白・黒がピクセルごとに交互に現れる画像を、それよりも細かいレートでサンプリングしたとしても、青いグラフのようになってしまいます。
これは極端な例ですが、整数倍にしない限りは元の情報は失われます。

RAW画像のうちの有効幅(重なりを除去したあと)は、RAW画像の約92.1％程度の、6720×3360 です。
RICOH THETA Stitcher がそれを 7296×3648 のサイズに再度引き伸ばして画像をアウトプットすることにより、再サンプリングによるボケを追加してしまいます。
つまり、RAW現像して出力されたエクイレクタングラー( 7296×3648 )は、水平方向については、Z1内部で生成されたJpeg( 6720×3360 )よりも解像度が低くなっている可能性があります。

この症状は、RICOH THETA Stitcher から直接、 6720×3360 のサイズの画像をアウトプットすることにより、解消できます。
しかしながら現在の RICOH THETA Stitcher のアウトプットは、以下の仕様しかサポートしていないようです。
・ファイルフォーマットは Jpeg とTiff
・解像度は 7296×3648

それ以外のサイズを指定したら、エラーになりました。

しかし、解像度に影響する因子はもう1つあります。
Jpegの不可逆圧縮による情報の欠落です。
RAW現像してTiffでアウトプットを得ることにより、Jpeg圧縮による情報の欠落を避けることが出来ます。この点ではたしかにRAWが有利です。

また、水平方向からわずかに上下しただけで、Z1の光学系(RAWデータを作るところまで含む)の分解能は変化します。
水平方向の一周(赤道)以外では必ず再サンプリングが必要になるので、水平方向だけを議論する意味が無いことも承知しています。

最終的な「納品物」の分解能を最大に保つためには、中間で使用する各ファイルで2倍以上の分解能を持っていればほとんど劣化なく処理できるようになると思うのですが、
そのような巨大なサイズでは処理速度や容量の面で不利になり、現時点でのメリットはないでしょう。
しかし、いずれ光学系が10Kや16Kに対応できた場合に備えて、データ処理の最大能力を上げる準備をして置くことも大事だとは思います。

まとめると、RAW画像をRICOH THETA Stitcher でステッチすることが、Z1本体で生成されるJpegに比べて有利な点は以下の通りです。

・ピクセルごとの色の深さ(ダイナミックレンジ)
・Jpeg圧縮による情報欠落がない

しかし、以下の点では不利になります。

・8.6％の分解能増加による、ファイルサイズの増大

そして、以下については功罪両面があります。

・水平方向は、再サンプリングでの画像劣化があります。しかし、わずかでも上下にずれれば分解能が異なるため、どのような値を採用しても再サンプリングが不要になることはありません。
アウトプットの解像度は高い方が画質の面では有利ですが、7296×3648(RAW画像と同じ)にする必然性は全くありません。

実際に撮影した画像で調べてみました。

THETA Z1 の静止画を、F3.5、1/1250[s]、ISO 80 の条件で撮影しました。

直径 60cm の標準サイズの速度制限標識を撮影して、ギリギリその文字が読める距離を、その撮影方法のポイントとする、という指標を用いると、
およそ55[pt]になります。

RAWデータが最も細部まで見えるのは当然ですが、
Z1本体で生成された 6.7K の Jpegは、圧縮に依るノイズで少し細部が潰れていて、
RICOH THETA Stitcher から出力された 7.3K の Tiff も、輪郭がボケていてJpeg 程度のポイントに下がってしまうことが分かると思います。

https://www.localguidesconnect.com/t5/General-Discussion/Evaluation-index-of-resolution-using-speed-limit-sign/m-p/2882648/highlight/true#M1086629

ですから、RICOH THETA Stitcher のアウトプットの解像度をもう少し上げて RAW の分解能を失わずに済むような設定が出来るようになると良いと思います。

@YasuhikoN さんが、Photoshopで現像して、PtGuiでステッチというワークフローで、RAW画像を処理していることを教えてくださいました。
その解像度は 7346×3673 でした。
https://www.facebook.com/groups/theta.lab/permalink/2498474797113049?comment_id=2498937937066735&reply_comment_id=2499107347049794

こちらの方が RICOH THETA Stitcher よりも高い解像度で出力されていますので、画質の面では有利です。

また、現像の色鮮やかさは、素晴らしいです。
私もこういう処理ができるようになりたいです。

RAWを永年利用して来ている方々のご意見をお待ちしております。
「そんなこと、既にみんな知ってますよ」というお話も楽しみです。
RAW現像が出来るようになって5日目のRAW新参者より。まだまだ取り急ぎ修行中。

To moderators :
This article was written for the purpose of information only.
I haven’t requested a moderator to resolve this symptom, but comments are welcome.

[Yotaroh]

@potaro67 さん、こんにちは。

「THETA Z1の魚眼レンズは等距離射影だと思います。」を前提にロジックが組まれていますが、その前提が正しいかどうかの検証をお願いします。まあ、私が持っている魚眼レンズが「等距離射影」っぽくなく、端っこの方は縮小されているように見えるので、THETAも案外違うのではないかなぁ、と思ったからです。

また、最後の質問が、一般的にRAW現像する理由ではなく、THETA Z1でRAW現像する人に向けての質問でしたら、ここより別の場所の方が良いと思います。一般的にRAW現像する理由は解像度とは関係ありませんので。

[potaro67]

@Yotaroh さんこんにちは。

次に調べていくことのヒントをくれてありがとう。

この記事は情報提供のために書いたものです。誰かにこれを解決してもらうことを要求したものではありません。

誰か一人でもこの記事から得るものがあったならそれが私の本望ですし、

私の情報の内容やその提供方法が間違っているというご指摘を受けることが出来れば私が嬉しい。

@Yotaroh さんの好きな言葉を使うと、For Someone‘s Information といった意味合いで書いた記事です。この言い回しは私の造語でありますけども。あ、でも検索したら既存の文書がいっぱい出てきました。なんだか残念。

私が気付いた疑問についてはこのような形で公表して行きますので今後もよろしくお願いします。

[potaro67]

さて、 @Yotaroh さんの助言をもらってあらためて調べてみたら、たしかに、周辺部のほうが距離が狭くなっていました。
https://www.localguidesconnect.com/t5/General-Discussion/Estimating-the-projection-method-of-RAW-data-of-THETA-Z1/m-p/2883920#M1087348
中心からの角度に比例した距離になっていないようです。
つまり、「等距離射影」であると私が仮定したことは間違いでした。
ご指摘ありがとうございました。

そして、あらためて投射方法を調べてみたのですが、実測値と合う理論が見つかりません。
レンズ中心部よりも、その少し周辺部のあたりの分解能が高くなるような投射がなされています。

投射方法については解明できませんでしたが、実測値から「レンズ中心部分の画像の密度」を求めると、
1ピクセルが大体 π/3495 [rad] に対応していることがわかりました。
これは、この中心部分のピクセルを1対1でエクイレクタングラーに反映させた場合、「6990×3495」になります。

Z1で生成されるJpegの「6720×3360」よりは少し大きく(1.04倍)、
RICOH THETA Stitcherのアウトプットの「7296×3648」より小さい(0.96倍)です。

ちょうど中間の値が出てきてしまいました。
またよくわからなくなったところで、今日は検証終わりとします。

そのズレの比率を2乗したらいろいろと辻褄が合うところも出てくるのだけど、2乗が必要になる意味がまだ分かりません。

[Yotaroh]

@potaro67 さん、こんにちは。

早々に確認していただきありがとうございます！！

私の持っている魚眼レンズの仕様欄を見たら「等立体角射影方式」と書いてありました。

@potaro67 さんの実験結果も数値をグラフ化したら「等立体角射影」の理論値とほぼ一致したので同様ですね！

あっ、読み返したら、30度の時の誤差を気にされてたんですね…、いけない、いけない。私は60度を基準にして正規化したので、誤差がますます気にならなかったようです。

という事で、次の検証を待ってます！

[Yotaroh]

脱線ですが、Z1(とV)が完売したそうです。

「日本における新たな法規制への対応、及び、使用している一部の部品が入手困難となったことへの対応」が理由だそうです。部品がICだとすると、例の火事の件かな？！法規制って何でしょうね？？

3月下旬に新製品が発表されるそうなので、楽しみです。

スペック同じで、使用IC変更によるマイナーチェンジだったら、ちょっと残念ですけどね。

【参考情報】

2021年02月25日 RICOH THETA Z1はご好評につき完売いたしました

[potaro67]

RICOH公式さんより、投射方法は「設計の機密情報であるため非公開」である旨の回答をいただきました。
https://www.facebook.com/groups/theta.lab/permalink/2500266933600502?comment_id=2505051693122026

[potaro67]

関連する記事を書きました。F値による画質の差を示しました。
https://www.localguidesconnect.com/t5/General-Discussion/effect-of-the-RICOH-THETA-Z1-s-mechanical-aperture-mechanism-F/m-p/3122667/highlight/true#M1220109