See-through Imaging of Laser-scanned 3D Cultural Heritage Objects Based on Stochastic Rendering of Large-scale Point Clouds

 

Paper(5900 words,ISPRS 2016)

psdr.lipi.go.id

 

f:id:tom0930:20180708022403p:plain

 

ABSTRACT

  • レーザ計測で得られた文化遺産大規模かつ複雑な点群に対して,正確な半透明画像の生成,透明可視化のための手法を提案する.
  • 我々の手法は,確率的アルゴリズムに基づいており,直接3次元の点を使用する.(確率的ポイントレンダリング
  • この手法は,デプスソートを行わずに,正しい奥行き感覚を実現する.
  • また,不透明度をフレキシブルにコントロールできる.

 

5. CONCLUSIONS

  • レーザ計測で得られた3次元文化遺産の大規模点群の半透明可視化の手法を提案した.
  • 提案手法により,高速かつ高精度な3次元半透明画像化と柔軟な透明融合可視化が実現できる.
  • 透明度は,ピクセル強度の確率的な決定により実現される.
  • 複雑な内部構造を有するデータに対して,正確な半透明画像を生成できた.
  • 半透明融合可視化は,レーザ計測データと高解像度の写真画像の同時可視化に有用であることも示した.
  • 我々の提案手法の制約は,点の数の調整比率kと不透明度αの値が大きくなるのに比例して,メモリ消費量が増加するということである.
  • 現在,不透明度の局所的に適応性のある調整を可能にするための手法を,さらに一般化することに取り組んでいる.
  • この一般化により,メモリ消費量が減らせる.
  • SPBRのコードは,以下よりダウンロードできる.

github.com

 

1. INTRODUCTION

  • 従来のポイントレンダリングでは,半透明可視化を行う場合に,デプスに関して困難が生じる.
  • 正しい奥行き感覚を実現するために,カメラの位置に近いオブジェクトほどクリアに描かれる必要がある.
  • 大規模かつ複雑な点群に対してデプスソートを行うと,レンダリングアーティファクトが発生する.
  • 著者らの知見によれば,数億点からなる大規模計測点群を正しい奥行き感覚で半透明可視化できたという報告は過去にない.

 

2. RELATED WORK

  • レーザ計測点群の可視化は,主に不透明レンダリングに基づいて研究されてきた.
  • 不透明レンダリングは,3次元内部構造の半透明可視化や半透明融合可視化については,対応していない.

 

4. Results

4.2 Realization of Correct Depth Feel

  • Figure 6.は,上空から見た八幡山の山鉾の半透明可視化画像である.
  • 本来であれば,木造の神輿の前側に木があるはずだが,従来手法の結果(Figure 6.の下側の画像)では,奥行き感覚が正しく反映されていないことがわかる.

f:id:tom0930:20180709224933p:plain

f:id:tom0930:20180709224946p:plain

 

4.3 Opacity Tuning

  • Figure 7.の左の画像は,外側部分に対して小さい透明度を設定し,内部構造の視認性を向上させている.
  • Figure 7.の右の画像は,外側部分に対して大きい透明度を設定し,外部構造の視認性を向上させている.

f:id:tom0930:20180709232528p:plain

 

4.5 Transparent Fused Visualization of a High-resolution 2D Photo Image

  • 半透明可視化の高度な応用として,デジタルアーカイブされた高解像度の2次元のタペストリーの写真画像と,レーザ計測した3次元山鉾との融合を考える.
  • 写真画像を3次元空間内の矩形平面として考える.
  • 画像の解像度が高いため,ピクセルを密な3次元点として考えることができる.
  • 写真画像は,以下の手順で点群に変換する.
    1. 写真画像のピクセルを色付きの3次元点とみなす.
    2. 各ピクセルについて,タペストリーの高さマップを作成する.
    3. 法線ベクトルマップを作成する.
    4. 3次元空間内の写真画像に垂直な方向に,ステップ1で用意した各3次元点を高さマップに従って移動する.
  • 写真画像を点群に変換した結果をFigure 9.に示す.

f:id:tom0930:20180710000610p:plain 

 

3. PROPOSED METHOD

3.1 Stochastic Point-based Realization of Transparency

  • サーフェス上の面積Sの任意の局所的なサーフェスセグメントを考える.(Figure 3.)
  • このサーフェスセグメントは,平面として近似でき(十分に小さい局所領域であるため),画像平面と平行であると仮定する.
  • サーフェスセグメント内に一様に分布する3次元点群の数をnとし,セグメントの画像内に含まれるピクセルの数をNとする.
  • すなわち,セグメント内の各3次元点は,画像平面上のN個のピクセルの1つに投影される.
  • 各3次元点について,その画像が1つのピクセルにだけ重なるような断面積sを割り当てる.
  • そして,NはSとsを用いて,N=S/sと表せる.
    → 断面積sのピクセルがN個集まって,面積Sのサーフェスセグメントになる.(s×N=S)

f:id:tom0930:20180709002716p:plain

  • N個のピクセルのうち,任意のピクセルに注目する.
  • 注目ピクセルに投影された,3次元点の数xを考える.
  • ここで,xは0<=x<=nの整数値のランダム変数であることに注意.
  • 一様性を仮定しているため,サーフェスセグメント上の3次元点が.注目ピクセルに投影される確率は,1/N(=N個のピクセルから1つのピクセルを選ぶ確率.)である.
  • また,xはB(n, 1/N)の二項分布に従う.
  • したがって,少なくとも1つの3次元点が注目ピクセルに投影される確率は式(1)で表される.

    f:id:tom0930:20180710183502p:plain

  • αは,注目ピクセルに,サーフェスセグメントの色が割り当てられる確率である.
  • 逆に,1-αは,注目ピクセルの色が,背景色と同じになる確率である.
  • したがって,式(1)のαは「不透明度」として機能する.
  • 式(1)に基づき,以下の3つの手順で,サーフェスの3次元半透明画像を作成する.

    STEP1:
    複数の一様な点群を準備する.各アンサンブル点群は,統計的に独立である.各アンサンブル点群は同じ点密度で,n個の3次元点を含む面積Sの任意の局所サーフェスセグメントを有する.
    以下,アンサンブルの数をLで表す.

    STEP2:
    各アンサンブル点群について,3次元点を画像平面に投影し,中間画像を生成する.投影処理において,ピクセルごとに隠点処理を行う.合計でL個の中間画像が得られる.

    STEP3:
    L個の中間画像を平均し,最終的な半透明画像を作成する.
    平均化された画像の数がLであるため,Lは画質のコントロールパラメータとして利用できる.

  • 作成された3次元画像は,画像平面に対して平行な部分のサーフェスに対して,式(1)で与えられる不透明度αを示す.

 

画像平面に対して平行でない局所サーフェスセグメントの不透明度について

  • 画像平面と局所サーフェスセグメントとの角度をθとすると,セグメントのサーフェスの不透明度は,式(2)で表すことができる.

    f:id:tom0930:20180710225743p:plain

  • 0<=θ<π/2のとき,0<cosθ<=1.0であるから,0<Scosθ<=Sである.
  • 式(2)は,画像平面に対してより傾いている局所サーフェスセグメントは,より不透明に見える,ということを意味している.
    → 傾斜角θが大きくなるほど,不透明度αが大きくなる.
  • この現象は,レンダリングの際にシェーディング効果として現れる.
  • このシェーディング効果は,サーフェス法線が提供されていないサーフェスデータに対してもうまく働く.

 

式(1)の意味について

  • 小さいn,すなわち小さいαについて,式(1)の右辺は以下のように近似できる.(テーラー展開の近似式)

    f:id:tom0930:20180710235957p:plain

  • これは,全断面積nsと局所サーフェスセグメントの面積Sとの比である.

 

点断面積sの設定の仕方について

  • sは,1つのピクセルに重なるように調整される.
  • それゆえ,ユーザにとっては,画像の解像度を通して,間接的にsをコントロールできたほうが便利である.
  • 現在のカメラの位置に応じて,sの大きさを更新することでインタラクティブなズームを実現することができる.

 

3.2 Application to a Laser-scanned Point Cloud

  • 上述した確率的ポイントレンダリングを,レーザ計測された3次元計測点群に対して適用する.
  • この目標を達成するためには,Section 3.1の3STEPを実行する前に以下の2つの前処理を行う必要がある.

    (1) レーザ計測点群から,統計的に独立したL個のアンサンブル点群を準備する.
    → 3.2.1

    (2) ユーザが定義した不透明度αの値に基づいて,準備した各アンサンブル点群の点数を調整する.
    → 3.2.2

  • 前処理を行うにあたって,レーザ計測された3次元点群が一様に分布していると仮定する.
  • 非一様であったとしても,式(1)のαは,平均不透明度として解釈することができる.

 

  3.2.1 Preparation of Statistically Independent Point Clouds from a Given Set of Laser-scanned 3D Points:

  • レーザ計測点群は1セットしか存在しないため,以下の手順でL個のアンサンブルにランダム分割する.

    1. ユーザが実現したい不透明度αを選択し,そのαに対応するnの値を式(1)より計算する.さらに,最終画像の統計的な画質をコントロールするためのパラメータLを選択する.

    2. レーザ計測点群の各点を中心とする,十分に小さい仮想の球を考える.(レーザ計測点群は一様に分布していると仮定しているため,任意の3次元点を球の中心として選択することができる.)球内に含まれる点を最も良く近似する球の大円が,注目する局所サーフェスセグメントとして定義される.大円の面積が,セグメントの面積Sとなる.(我々の実装では,バウンディングボックスの対角線の長さの1/50を球の半径とした.)

    3.レーザ計測点群に対して,面積S内の3次元点の数n_rawを数える.(我々の実装では,ランダムに選択した3次元点を中心とする1000個の球を準備した.n_rawの値は,最終的な値として1000個の球内の値を平均化して使用する.

    4.n_raw/Lを計算し,1. で計算した理論値nの値の結果と比較する.それから,3.2.2で説明する点調整を行う.その後,面積S内の3次元点の数は,nLとなる.

    5.点調整を行ったレーザ計測点群を,L個のアンサンブル点群(面積S内における3次元点の点数は,どのアンサンブルも同じn個)にランダム分割する.

  • L個の各アンサンブル点群は,ユーザが望む不透明度αを実現するために必要なn個の3次元点を有している.
  • 上記の5ステップは,セクション3.1のSTEP1に相当する.
  • 求めた不透明度は,画像平面に対して平行なサーフェスエリアに対してのみ実現される.
  • 画像平面に対して平行でないサーフェスエリアの不透明度は,式(2)の値になるまで自動的に増加させる.

 

  3.2.2 Point-number Adjustment:

  • 点の増減は,点群全体に対して適用される.
  • 分布の一様性のため,同一の点調整比率を用いることができる.

    f:id:tom0930:20180713173456p:plain
    CASE1:
    k<1のとき(Sにおける3次元点の数が,元の計測点群の数よりも多いとき)は,ランダムに点を間引く.

    CASE2:
    k>1のとき(Sにおける3次元点の数が,元の計測点群の数よりも少ないとき)は,点を増やす必要がある.文化遺産の正確なデジタルアーカイブのために,元の計測点群データに含まれていない場所に点を追加することは避ける.
    それゆえ,元の計測点群から適切な数の点をランダムに選択肢し,必要な数だけ単純にコピーする.Lが十分に大きければ,コピーした各点が,異なるアンサンブルに分配される可能性が高い.(Figure 4.)
    つまり,コピーした各点は,独立した3次元点として保持され,アンサンブル点群ごとに独立して行われる隠点処理によって除去されない.

f:id:tom0930:20180713172959p:plain

 

  • 上述した点調整を実証するために,作成画像のピクセル輝度値への影響を調査するための実験を行った.
  • ユーザが定義する不透明度αを様々な値に設定して,黒い背景の白い平面の半透明画像を作成した.
  • 入力点群は,平面上の正方形内に一様なランダムサンプリングによって,n_raw個の3次元点を生成した.
  • 様々な不透明度αに対する作成画像の平均輝度値を,Figure 5.に示す.
  • 画素値が,理論値(実線:255α)と一致していることが確認できる.
  • 点調整比率kが大きい値の場合(元の計測点群の点数と理論値の点数の差が大きい場合)でも,画素値の理論値と一致している.
  • 以上より,上記の点の増減処理は,うまく動作していると言える.

f:id:tom0930:20180713175112p:plain

 

3.3 Fused Visualization of Multiple Point Clouds

 

SPBR Processing Procedure

  1. 希望の不透明度αとリピートレベルLを決める.
  2. SPBRの式(1)より,1.で決めた不透明度を実現するために,理論的に必要な点数nが求まる.
  3. 計測点群の点数n_rawと理論値nを比較し,n_rawがnになるまで点を増減する.

 

Related Article

tom0930.hatenablog.com

 

tom0930.hatenablog.com

 

tom0930.hatenablog.com

  

tom0930.hatenablog.com

 

Words

  • fused visualization 融合可視化
  • cumulative 累積の
  • simultaneous 同時の
  • adaptive 適応性のある
  • intangible 無形の
  • occlude ふさぐ
  • concavity くぼみ
  • regard みなす
  • comprise 含む,構成する
  • proliferation 急増