See-through Imaging of Laser-scanned 3D Cultural Heritage Objects Based on Stochastic Rendering of Large-scale Point Clouds
Paper（5900 words，ISPRS 2016）
ABSTRACT
- レーザ計測で得られた文化遺産の大規模かつ複雑な点群に対して，正確な奥行き感覚を実現する透視画像の生成，および透視可視化手法を提案する．
- 提案手法は，確率的アルゴリズムに基づいており，直接３次元の点を使用する．（確率的ポイントレンダリング）
- 提案手法は，デプスソートを行わずに，正しい奥行き感覚を実現できる．
- また，不透明度をフレキシブルにコントロールできる．
5. CONCLUSIONS
- レーザ計測で得られた3次元文化遺産の大規模点群の透視可視化手法を提案した．
- 提案手法により，高速かつ高精度な透視可視化と柔軟な融合可視化が実現できる．
- 透明度は，ピクセル輝度値の確率的な決定により実現される．
- 複雑な内部構造を有するデータに対して，正確な透視画像を生成できた．
- 半透明融合可視化は，レーザ計測データと高解像度の写真画像の同時可視化に有用であることも示した．
- 提案手法の制約は，点の数の調整比率kと不透明度αの値が大きくなるのに比例して，メモリ消費量が増加するということである．
- 現在，不透明度の適応的な調整を可能にするための手法を，さらに一般化することに取り組んでいる．
- この一般化により，メモリ消費量が減らせる．
- SPBRのコードは，以下よりダウンロードできる：
1. INTRODUCTION
- 従来のポイントレンダリングでは，透視可視化を行う場合に，デプス処理に関して困難が生じる．
- 正しい奥行き感覚を実現するためには，カメラ位置に近いオブジェクトほどクリアに描かれる必要がある．
- 大規模かつ複雑な点群に対してデプスソートを行うと，レンダリングアーティファクトが発生してしまう．
- 著者らの知見によれば，数億点からなる大規模計測点群を正しい奥行き感覚で透視可視化できたという報告は過去にない．
2. RELATED WORK
4. Results
4.2 Realization of Correct Depth Feel
- Figure 6.は，上空から見た八幡山の山鉾の透視可視化画像である．
- 本来であれば，木造の神輿の前側に木があるはずだが，従来手法の結果（Figure 6.の下側の画像）では，奥行き感覚が正しく反映されていないことがわかる．
4.3 Opacity Tuning
- Figure 7.の左の画像は，外側部分に対して低い透明度を設定することで，内部構造の視認性を向上させている．
- Figure 7.の右の画像は，外側部分に対して高い透明度を設定することで，外部構造の視認性を向上させている．
4.5 Transparent Fused Visualization of a High-resolution 2D Photo Image
- 透視可視化の高度な応用として，デジタルアーカイブされた高解像度の2次元のタペストリーの写真画像と，レーザ計測で取得した3次元点群との融合を考える．
- 写真画像を3次元空間内の矩形平面として考える．
- 画像の解像度が高いため，ピクセルを密な3次元点として考えることができる．
- 写真画像は，以下の手順で点群に変換する：
1. 写真画像の各ピクセルを色付きの3次元点とみなす．
2. 各ピクセルについて，タペストリーの高さマップを作成する．
3. 法線ベクトルマップを作成する．
4. ３次元空間内の写真画像に垂直な方向に，ステップ１で用意した各3次元点を高さマップに従って移動する． - 写真画像を点群に変換した結果をFigure 9.に示す．
3. PROPOSED METHOD
3.1 Stochastic Point-based Realization of Transparency
- サーフェス上の面積Sの任意の局所的なサーフェスセグメントを考える．（Figure 3.）
- このサーフェスセグメントは，平面として近似でき（十分に小さい局所領域であるため），画像平面と平行であると仮定する．
- サーフェスセグメント内に一様に分布する3次元点群の数をnとし，セグメントの画像内に含まれるピクセルの数をNとする．
- すなわち，セグメント内の各3次元点は，画像平面上のN個のピクセルの１つに投影される．
- 各3次元点について，その画像が1つのピクセルにだけ重なるような断面積sを割り当てる．
- そして，NはSとsを用いて，N=S/sと表せる．
→ 断面積sのピクセルがN個集まって，面積Sのサーフェスセグメントになる．（s×N=S）
- N個のピクセルのうち，任意のピクセルに注目する．
- 注目ピクセルに投影された，3次元点の数xを考える．
- ここで，xは0<=x<=nの整数値のランダム変数であることに注意．
- 一様性を仮定しているため，サーフェスセグメント上の3次元点が．注目ピクセルに投影される確率は，1/N（＝N個のピクセルから１つのピクセルを選ぶ確率．）である．
- また，xはB(n, 1/N)の二項分布に従う．
- したがって，少なくとも1つの3次元点が注目ピクセルに投影される確率は式(1)で表される．
- αは，注目ピクセルに，サーフェスセグメントの色が割り当てられる確率である．
- 逆に，1-αは，注目ピクセルの色が，背景色と同じになる確率である．
- したがって，式(1)のαは「不透明度」として機能する．
- 式(1)に基づき，以下の3つの手順で，サーフェスの透視画像を作成する：
STEP１：
複数の一様な点群を準備する．各アンサンブル点群は統計的に独立であると仮定する．各アンサンブル点群は同じ点密度で，n個の3次元点を含む面積Sの任意の局所サーフェスセグメントを有する．以下，アンサンブルの数をLで表記する．
STEP２：
各アンサンブル点群について，3次元点を画像平面に投影し，中間画像を生成する．投影処理において，ピクセルごとに隠点処理を行う．合計でL枚の中間画像が得られる．
STEP３：
L枚の中間画像を平均化して，最終的な透視画像を作成する．
平均化された画像の数がLであるため，Lは画質のコントロールパラメータとして利用できる． - 作成された3次元画像は，画像平面に対して平行な部分のサーフェスに対して，式(1)で与えられる不透明度αを示す．
画像平面に対して平行でない局所サーフェスセグメントの不透明度について
- 画像平面と局所サーフェスセグメントとの角度をθとすると，セグメントのサーフェスの不透明度は，式(2)で表すことができる．
- 0<=θ<π/2のとき，0<cosθ<=1.0であるから，0<Scosθ<=Sである．
- 式(2)は，画像平面に対してより傾いている局所サーフェスセグメントは，より不透明に見える，ということを意味している．
→ 傾斜角θが大きくなるほど，不透明度αが大きくなる． - この現象は，レンダリングの際にシェーディング効果として現れる．
- このシェーディング効果は，サーフェス法線が提供されていないサーフェスデータに対してもうまく働く．
式(1)の意味について
点断面積sの設定の仕方について
- sは，1つのピクセルに重なるように調整される．
- それゆえ，ユーザにとっては，画像の解像度を通して，間接的にsをコントロールできたほうが便利である．
- 現在のカメラの位置に応じて，sの大きさを更新することでインタラクティブなズームを実現することができる．
3.2 Application to a Laser-scanned Point Cloud
- 上述した確率的ポイントレンダリングを，レーザ計測された3次元計測点群に対して適用する．
- この目標を達成するためには，Section 3.1の３STEPを実行する前に以下の2つの前処理を行う必要がある：
(１) レーザ計測点群から，統計的に独立したL個のアンサンブル点群を準備する．
→ 3.2.1
(２) ユーザが定義した不透明度αの値に基づいて，準備した各アンサンブル点群の点数を調整する．
→ 3.2.2 - 前処理を行うにあたって，レーザ計測された3次元点群が一様に分布していると仮定する．
- 非一様であったとしても，式(1)のαは，平均不透明度として解釈することができる．
3.2.1 Preparation of Statistically Independent Point Clouds from a Given Set of Laser-scanned 3D Points:
- レーザ計測点群は1セットしか存在しないため，以下の手順でL個のアンサンブルにランダム分割する：
１． ユーザが，望む不透明度αを選択し，その不透明度αを満たすために必要な点数nを式(1)より計算する．さらに，最終画像の統計的な画質をコントロールするためのパラメータLを選択する．
２． レーザ計測点群の各点を中心とする，十分に小さい仮想の球を考える．（レーザ計測点群は一様に分布していると仮定しているため，任意の3次元点を球の中心として選択することができる．）球内に含まれる点を最も良く近似する球の大円が，注目する局所領域として定義される．大円の面積がSとなる．（我々の実装では，バウンディングボックスの対角線の長さの1/50を球の半径とした．）
３．レーザ計測点群に対して，大円の面積S内の3次元点の数n_rawを数える．（我々の実装では，ランダムに選択した3次元点を中心とする1000個の球を準備した．n_rawの値は，最終的な値として1000個の球内の値を平均した値を採用する．）
４．n_raw/Lを計算し，１. で計算した理論値nの値の結果と比較する．それから，3.2.2で説明する点調整を行う．その後，面積S内の3次元点の数は，nLとなる．
５．点調整を行ったレーザ計測点群を，L個のアンサンブル点群（面積S内における３次元点の点数は，どのアンサンブルも同じn個）にランダム分割する． - L個の各アンサンブル点群は，ユーザが望む不透明度αを実現するために必要なn個の3次元点を有している．
- 上記の5ステップは，セクション3.1のSTEP1に相当する．
- 求めた不透明度は，画像平面に対して平行なサーフェスエリアに対してのみ実現される．
- 画像平面に対して平行でないサーフェスエリアの不透明度は，式(2)の値になるまで自動的に増加させる．
3.2.2 Point-number Adjustment:
- ここでは，大円の面積S内の3次元点の数が，n_raw(計測点群)から理論値nを用いたnLに調整されるように，元のレーザースキャンデータの点数を適切に増減する方法を述べる．
- 点の増減は，点群全体に対して適用される．
- 点密度の一様性を仮定しているため，どの局所領域に対しても，同一の点調整比率を用いることができる：
CASE１：
k<1のとき（Sにおける3次元点の数が，元の計測点群の数よりも多いとき）は，ランダムに点を間引く．
CASE２：
k>1のとき（Sにおける3次元点の数が，元の計測点群の数よりも少ないとき）は，点を増やす必要がある．文化遺産の正確なデジタルアーカイブのために，元の計測点群データに含まれていない場所に点を追加することは避ける．
それゆえ，元の計測点群から適切な数の点をランダムに選択し，必要な数だけ単純にコピーする（同じ座標に複製）．Lが十分に大きければ，コピーした各点が，異なるアンサンブルに分配される可能性が高い．（Figure 4.）
つまり，コピーした各点は，独立した3次元点として保持され，アンサンブル点群ごとに独立して行われる隠点処理によって除去されない．
- 上述した点調整の正当性を実証するために，出力画像の輝度値への影響を検証するための実験を行った．
- ユーザが定義する不透明度αを様々な値に変更して，背景:黒色，平面:白色の半透明画像を作成した．
- 入力点群は，平面上の正方形内に，一様乱数を用いてn_raw個(1000万点)の3次元点を人工的に生成した．
- 様々な不透明度αに対する出力画像の平均輝度値を，Figure 5.に示す．
- 画素値が，理論値（実線：255×α）と一致していることが確認できる．
- 点調整比率kが大きい値の場合（元の計測点群の点数と理論値の点数の差が大きい場合）でも，画素値の理論値と一致していることがわかる．
- エラーバーは，標準偏差を表しており，n_rawの値が大きい（下段のグラフ）ほど，誤差が小さいことがわかる．
- 以上より，上記の点増減処理は，正常に動作していると言える．
3.3 Fused Visualization of Multiple Point Clouds
SPBR Processing Procedure
- 希望の不透明度αとリピートレベルLを決める．
- SPBRの式(1)より，1.で決めた不透明度を実現するために，理論的に必要な点数nが求まる．
- 計測点群の点数n_rawと理論値nを比較し，n_rawがnになるまで点を増減する．
Related Article
Words
- simultaneous 同時の
- intangible 無形の
- occlude ふさぐ
- concavity くぼみ
- regard みなす
- comprise 含む，構成する
- proliferation 急増
