コンピュータビジョン | WHO’S LAB ｜大阪電気通信大学研究室紹介サイト

デジタルツインや拡張現実が超進化！実世界を丸ごと3Dモデル化技術

更新者研究サイト — Fri, 26 Jul 2024 02:00:00 +0000

現実のモノや環境からデータを収集し仮想空間に双子のようなモデルを再現する技術が「デジタルツイン」。建物や製造ラインはもちろん都市や国まで丸ごとモデル化することも可能になっています。
間下教授は、デジタルツインで利用される実世界のモデルをリアルに生成するための基盤技術を研究-開発しています。

合成画像による学習で
より高精度な3Dモデルをデータ生成

デジタルツインが注目されているのは、実世界では実験できないようなことをサイバー空間のモデルを使ってシミュレーションできるからです。たとえば、都市を丸ごとモデル化したデジタルツインがあれば、災害による被害のシミュレーションをいろいろな要件（条件）で試行・データ収集でき、その結果、より実効性のある災害対策を立てることができます。

このデジタルツインの生成には、対象となる物や領域の形状をレーザーやカメラ画像によって複数のポイントや角度から3次元計測し、そのデータを1つの３Dモデルに結合（統合）していくことが必要です。このデータ結合のカギとなるのが「位置合わせ」と呼ばれる技術です。位置合わせでは、複数の計測データから目印となるポイントを見つけ、それぞれのデータに対応する部分から、距離感や角度など位置関係を推定して連結していきます。AIを使った技術も開発されていますが、一番の問題は「光の当たり方によって、ものの見え方が変化する」ことでした。AIは、見え方の異なるものを同一物と認識できないため、位置合わせが困難になってしまうのです。

そこで間下教授は、コンピュータによる合成画像で光の当たり方の変化を細かくシミュレーションし、そのデータをAIに学習させることで、効率よく位置合わせを行うという手法を開発。さらに「合成画像では現実の世界の複雑さを完全に再現できない」という根本的な問題に対し、ドメイン適応という技術を駆使。合成画像と実際の画像の違いをうまく調和させることに成功しました。この開発により、AIによる位置合わせは飛躍的に性能がアップ。この技術は拡張現実（AR）にも応用できることから、実画像とCG画像をより自然に統合させることが可能になりました。

照明変動に頑健なカメラ位置姿勢推定法

見えない部分を想像し、
再現できる技術をめざす

実世界を立体的に写し取る3次元計測では、レーザー光を照射するLiDARと呼ばれる技術や距離が測れるデプスカメラによる撮影画像によって、対象までの距離や位置、形状を点群と呼ばれる点の集合として表現します。

このようなレーザーや撮影画像によるスキャンは比較的大きな領域のデータを自動的に計測できるのがメリット。一方で、対象の表面しかスキャンできず、その表面も何かで隠されて見えなかったり対象の裏側はとらえられなかったりして、データに欠損が生じてしまうことは避けられません。

間下教授は、データの欠損部分についてAIを使って補完し、全体の形状を再現させる技術の開発に挑戦しています。使われているのは、AIの深層学習においてある画像の画風やテクスチャなどスタイルを抽出し、別の画像に適用するスタイル変換の技術です。

レーザーやカメラの目が届かないところはたくさんあります。見えない部分を想像して再現できる能力を高めることで、より精度の高いデジタルツインの開発を可能にすることが期待されています。

欠損を持つ天群の欠損保完結果

「世の中を記述する」とは!?
人と機械が真に共生する未来へ

デジタルツインの3Dモデルには、形状がそっくりなだけでなく材質や特性、温度や気流など周囲の環境まで忠実にモデル化する高度な再現性が求められます。
間下教授の究極の目標は「世の中を記述する」ことだとか。人を含めた自然物や人工物が関係しあってどんな活動をし、どんな現象が生まれているのか、実世界を丸ごと再現する技術。それはデジタルツインやAR、ロボットビジョンなどに応用され、人と機械の関わりを大きく変えてゆく転機となるかも知れません。

The post デジタルツインや拡張現実が超進化！
実世界を丸ごと3Dモデル化技術 appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

AI技術を駆使した医用画像処理研究で小児水頭症の脳室領域抽出をより高精度に

オフィスティ本田様 — Thu, 21 Sep 2023 01:13:00 +0000

脳脊髄液の循環障害によって、脳の内部にある空間、脳室に過剰に溜まった髄液が、脳を圧迫しさまざまな障害を引き起こす水頭症。頭部CTスキャンやMRIでその領域を特定し診断します。
岩本准教授が医療機関と共同で研究しているのは、AIのディープラーニングを活用した、さらに精度の高い医用画像処理技術です。

ディープラーニングによる画像セグメンテーションにより、
小児水頭症の脳室の体積を正確に測定　
疾患の定量化や患者に分かりやすく伝えることができるゴールを目指す　

医療機関との共同研究のテーマは、医用画像から小児水頭症の脳室をセグメンテーションし、より高精度な解析と的確な診断へ導くソフトウェアの開発。特に小児は脳形状が多様であることから難易度の高さも課題となります。

現在、ディープラーニングを活用しながら高い精度で領域をセグメンテーションすることで、対象となる脳室の体積を測り、定量化する技術を開発しています。この技術が確立できれば、正確に測定された体積から、疾患の定量化や、患者に術前・術後の変化を分かりやすく伝えたりすることが可能になります。

左）正常な脳室と, 右）水頭症の脳室のイラスト.

今後ますますニーズが高まる、医用画像の自動セグメンテーションと
画像処理技術に着目！　
既存の技術もブラッシュアップすることで医療分野にAIの技術で貢献

医用画像の対象となる領域を自動でセグメーテーションし、現場の医師が直感的に利用できるシステムの開発は、今後ますます医療分野で必要とされる技術の一つです。

MRIやCTの画像から特定の臓器に色をつけて抽出する技術の一例
(Medical Image Decathlonデータセット画像 (spleen)(Licensed under CC-BY-SA 4.0)[1,2]をITK-SNAP[3]ソフトウェアで表示).

上の画像のように脾臓や肝臓を抽出する技術はすでに広く活用されていますが、その精度をできるだけ上げるために最新のアルゴリズムを使ってその開発に取り組んだり、小児水頭症のように、これまでセグメンテーションの研究例が少ない領域に着目し、ソフトウェアの開発を目指したりしています。

このほか、CTスキャンやMRI画像のノイズ除去や、解像度を上げるなどの医用画像処理に関する研究にも取り組み、医療分野で広く活用されるAI技術の発展に力を注いでいます。

医療分野で医師と患者をサポートする
システム開発のAI技術

開発中の技術が確立すれば、現在共同研究中の医療機関で実際に医学的な解析に活用いただく予定です。研究テーマでもある医用画像処理の分野でAIを駆使して医療現場に少しでも力添えができれば、と考えています。たとえば、随分先の未来になりますが、医師の診断をサポートするような技術や、身体に気になる症状があった場合、患者自身が写真を撮って、まず画像である程度診断し、後に医師が適切な診断ができるようなシステムを開発できればと考えています。

参考文献

Medical Segmentation Decathlon, [Online]. Available: http://medicaldecathlon.com/
Amber L. Simpson et al. “A large annotated medical image dataset for the development and evaluation of segmentation algorithms”,
arXiv:1902.09063
Paul A. Yushkevich, Joseph Piven, Heather Cody Hazlett, Rachel Gimpel Smith, Sean Ho, James C. Gee, and Guido Gerig. User-guided 3D active contour segmentation of anatomical structures: Significantly improved efficiency and reliability. Neuroimage 2006 Jul 1;31(3):1116-28. [Online]. Available: www.itksnap.org

The post AI技術を駆使した医用画像処理研究で
小児水頭症の脳室領域抽出をより高精度に appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

コンピュータビジョン | WHO’S LAB ｜大阪電気通信大学研究室紹介サイト

デジタルツインや拡張現実が超進化！実世界を丸ごと3Dモデル化技術

合成画像による学習でより高精度な3Dモデルをデータ生成

見えない部分を想像し、再現できる技術をめざす

「世の中を記述する」とは!?人と機械が真に共生する未来へ