Download as PDF, PPTX
Uploaded byyuichi takeda
Depth From Sequence
第25回コンピュータビジョン勉強会＠関東での発表資料です。 http://connpass.com/event/8082/
Depth From Sequence
- 1. iPhoneで奥行き推定する プログラムを作りました 第２５回CV勉強会＠関東 Yuichi Takeda / @ginrou799
- 2. iPhoneのカメラだけで動く iPhoneで奥行き推定する プログラムを作りました デプスセンサ作りました 第２５回CV勉強会＠関東 Yuichi Takeda / @ginrou799
- 3. 自己紹介 • YuichiTakeda / @ginrou799 • CV • コンピュテーショナルフォトグラフィ • MIRU 2012 優秀賞 • iOS • ミクシィでiPhoneアプリの開発 • 本も出してますhttp://goo.gl/OaLUDc
- 4.
- 5. LensBlur • Androidに搭載されているカメラの機能 • シーンの奥行きを推定してリフォーカス 出典 http://googleresearch.blogspot.jp/2014/04/lens-blur-in-new-google-camera-app.html
- 6.
- 7. Depth From Sequence iPhoneを手に持って撮影した画像シーケンスから奥行きを推定します
- 8. Depth From Sequence • ソースコードは公開しています。 • https://github.com/ginrou/DepthFromSequence • C++ • 動作環境 • CMake OpenCVの動く環境 • Mac, Linux(多分) • iOS
- 9. 元ネタ • 元ネタはLensBlurの元になった論文 • 3D Reconstruction from Accidental Motion (Fisher Yu et al. CVPR 2014) • この論文をベースに実際に使えるように少し改良
- 10. アルゴリズム・入力画像 • 1280x720で撮影して640x320 に縮小して処理 • 実際のデプスを計測するのは中央の320x320の領域 • 10 ~ 15枚ほどが安定している
- 11. アルゴリズム Feature Tracking Bundle Adjustment Plane Sweep • KLT Trackerを使って特徴点追跡 最初のフレームでは150個の特徴点を追跡し、 最終フレームで70個まで減ったら失敗
- 12. アルゴリズム Feature Tracking Bundle Adjustment Plane Sweep • Feature Trackingの結果からカメラの位置と姿勢を推定 • Bundle Adjustment • 便利ライブラリなかったので実装しました
- 13. アルゴリズム Feature Tracking Bundle Adjustment Plane Sweep • パラメータ • 最大反復回数は 5 回 • 反復終了時に再投影エラーが 1.0 未満だと失敗とみなす
- 14. アルゴリズム Feature Tracking Bundle Adjustment Plane Sweep •入力画像がある奥行き上にあると仮定してワーピング •ワーピング画像を積み重ね、輝度一致度で奥行きを推定
- 15. アルゴリズム Feature Tracking Bundle Adjustment Plane Sweep • 輝度一致度だけで奥行きを求めると精度が悪い •テクスチャのない箇所に弱い •グラフカットを利用して精度向上 • http://graphics.stanford.edu/projects/densecrf/ を利用
- 16. アルゴリズム Feature Tracking Bundle Adjustment Plane Sweep • 輝度一致度だけで奥行きを求めると精度が悪い •テクスチャのない箇所に弱い •グラフカットを利用して精度向上 • http://graphics.stanford.edu/projects/densecrf/ を利用
- 17. アルゴリズム Feature Tracking Bundle Adjustment Plane Sweep •奥行き分解能は奥行きに反比例 •近いものは細かく計れるが、遠いものは粗くなる •奥行き分解能は20~32段階くらい •分解能を上げるとメモリを圧迫する •100MBくらい食うのでスマートフォンにはキツイ
- 18. iPhoneへ移植 • iOSはC++をそのまま使える • ただそのままだと扱いづらい • C++ / Objective-C / Objective-C++ を使い分ける
- 19. Objective-C/ Objective-C++ /C++ どう使い分けるか？ Objective-C Objective-C++ C++ • Obj-C C++ の橋渡し • UIImage と cv::Mat の変換 • 非同期処理 • カメラのバッファ • UI • 画像処理のコア まずはコア部分を独立して開発
- 20. Objective-C/ Objective-C++ /C++ どう使い分けるか？ Objective-C Objective-C++ C++ • Obj-C C++ の橋渡し • UIImage と cv::Mat の変換 • 非同期処理 • カメラのバッファ • UI • 画像処理のコア うまく行ったらiiPPhhoonneeの部分を作る
- 21. 残りの課題 • パラメータチューニング(もう少しよく出来そう) • ステレオ法だけで挑んでみる • CocoaPods化 • 実スケール単位での計測（1m, 2m とか実測）
- 22.