誰でも簡単に
プロジェクションマッピングができる!?

映像を立体物に投影するプロジェクションマッピングは、アートやエンターテインメントだけでなく、近年では製造業や教育などさまざまな分野へと用途が広がっています。単に視覚的な演出というだけでなく、空間をメディア化する技術へと進化を遂げています。

プロジェクションマッピングでは、立体物の形に合わせて映像を正確に変形する必要があります。立体物の外に映像がはみ出ないよう外形に合わせて映像を切り出し、さらに、2Dの映像を表面が凸凹した立体に投影してもゆがんだりしないような変形処理が不可欠です。投影する対象が人体や動物、車など自由曲面で構成された立体だと、その変形を画素単位の非常にきめ細かなレベルで行う必要があります。

永野教授はこうした手間のかかる処理を自動化し、誰でも簡単にプロジェクションマッピングができる技術を研究しています。マネキンの胸像に顔の画像を投影する装置・アプリの開発では、10分程度で簡単にプロジェクションマッピングができる自動化システムを実現しました。

また、プロジェクター4台を使って4方向から映像を立体物に投影し、360度から鑑賞できるシステムの開発にも挑戦中です。さらに研究を進め、博物館などで展示物に映像を投影して、ARのように文字や映像の情報をスマートフォンやヘッドマウントディスプレイなしで楽しめるようなシステムの開発をめざしています。

遠隔地から脳血管カテーテル治療ができる　
ロボットシステムの開発

永野教授は、医療現場の問題解決にもチャレンジしています。脳動脈瘤やくも膜下出血など脳血管の病気の治療法として、カテーテルと呼ばれる細い管を血管内に通して治療する脳血管内治療があります。開頭手術に比べて患者の負担が少ないため、近年、急速に発展しています。一方で、これは脳血管をX線で造影しながら行う長時間にわたることも多い治療で、医師など医療従事者の放射線被ばくリスクが問題になっています。

そこで永野教授は、血管内治療支援ロボットを使ってリモートで治療する、遠隔手術システムの開発に研究を進めています。血管内治療支援ロボットは、術者が操作するジョイスティックの傾きデータをロボットに転送し、そのデータに合わせてガイドワイヤーやカテーテルなどのデバイスを駆動するという仕組みです。デバイスに強い力がかかると血管壁を傷つける可能性があるため、ロボットの力加減のコントロールが不可欠。センサーで測定した力加減を音程の高低に変換して術者にフィードバックし、血管壁にかかる圧力の具合をリアルタイムに把握できるようにしています。

2024年には80キロ離れた地点間で模擬手術を実施し、臨床応用につながるさまざまな成果を上げました。今後は、力加減のフィードバック機能をさらに高め、安全なロボット技術の開発を進めるとともに、Wi-Fi回線、WAN回線による実証を重ね実用化をめざします。

The post 実世界の情報収集・分析と<br>デジタル画像処理で社会課題に挑戦 appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

ディープラーニングによる画像セグメンテーションにより、
小児水頭症の脳室の体積を正確に測定　
疾患の定量化や患者に分かりやすく伝えることができるゴールを目指す 　

医療機関との共同研究のテーマは、医用画像から小児水頭症の脳室をセグメンテーションし、より高精度な解析と的確な診断へ導くソフトウェアの開発。特に小児は脳形状が多様であることから難易度の高さも課題となります。

現在、ディープラーニングを活用しながら高い精度で領域をセグメンテーションすることで、対象となる脳室の体積を測り、定量化する技術を開発しています。この技術が確立できれば、 正確に測定された体積から、疾患の定量化や、患者に術前・術後の変化を分かりやすく伝えたりすることが可能になります。

今後ますますニーズが高まる、医用画像の自動セグメンテーションと
画像処理技術に着目！　
既存の技術もブラッシュアップすることで医療分野にAIの技術で貢献

医用画像の対象となる領域を自動でセグメーテーションし、現場の医師が直感的に利用できるシステムの開発は、今後ますます医療分野で必要とされる技術の一つです。

上の画像のように脾臓や肝臓を抽出する技術はすでに広く活用されていますが、その精度をできるだけ上げるために最新のアルゴリズムを使ってその開発に取り組んだり、小児水頭症のように、これまでセグメンテーションの研究例が少ない領域に着目し、ソフトウェアの開発を目指したりしています。

このほか、CTスキャンやMRI画像のノイズ除去や、解像度を上げるなどの医用画像処理に関する研究にも取り組み、医療分野で広く活用されるAI技術の発展に力を注いでいます。

参考文献

1. Medical Segmentation Decathlon, [Online]. Available: http://medicaldecathlon.com/
2. Amber L. Simpson et al. “A large annotated medical image dataset for the development and evaluation of segmentation algorithms”,
   arXiv:1902.09063
3. Paul A. Yushkevich, Joseph Piven, Heather Cody Hazlett, Rachel Gimpel Smith, Sean Ho, James C. Gee, and Guido Gerig. User-guided 3D active contour segmentation of anatomical structures: Significantly improved efficiency and reliability. Neuroimage 2006 Jul 1;31(3):1116-28. [Online]. Available: www.itksnap.org

The post <strong>AI技術を駆使した医用画像処理研究で</strong><br><strong>小児水頭症の脳室領域抽出をより高精度に</strong> appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

手術見学の教育効果をもっと高めるには？　
VR空間でとことん学ぶ手術学習支援システム

模範動作に近づくほど得点が上がる
楽しく続けられる高齢者向け体操ゲーム

一方、福祉・健康分野では高齢者向けの健康体操も研究テーマの一つです。

体操は手をきちんと伸ばすなど模範通りにやれば効果がより上がりますが、指摘されないと自分の動作の欠点に気づけません。そこで、より楽しく体操を続けてもらうよう、模範の動作に近づくほど点が高くなるゲームを開発。インストラクターによる体操動作からモーションキャプチャーで関節位置を解析し、模範としてキャラクターに動作させます。それを見ながら体操をするプレイヤーの動作をリアルタイムに解析し、模範動作との違いを判定して得点に反映させる仕組みです。

佐藤研究室では、ゲームの楽しさによって努力や苦労を感じずに効果を上げることを目標に、多彩な開発を続けています。

• 出典：https://developers.google.com/mediapipe/solutions/vision/pose_landmarker/

The post 社会の問題を「超現実」で解決　<br>医療、福祉・健康分野にゲーム技術を応用 appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

AIにペン習字をさせるシステム　
筆運びを学習させて精度をアップ

沼田准教授自身の関心から生まれたのが、ペン習字学習支援アプリの研究です。ペン習字は、字典から手本の文字を探し、何度も書き写すことで上達します。ただ、「私は〇田△介と申します」など練習したい文字を、1字ずつ本からコピーして切り貼りし手本を作成するのは手間がかかります。

沼田研究室では、学習したい文字や文を手本の文字に変換するアプリを作成。手本の文字に補助線を入れるなど、アプリに登載する上達支援機能を開発しています。

さらにペン習字の字体を機械学習させ、AIにペン習字をさせる研究もスタートしました。今後は人の筆運びと同じ筆順なども含めた動きを学習させることにより、より美しいペン習字が書けるシステムの構築をめざしています。

ぐっとつかまれた肝臓の動きを再現し
手術のリアルなシミュレーションを可能に

また、情報学科・登尾教授と共同で取り組んでいるのが、肝臓切除手術のシミュレーションシステム、手術中のナビゲーションシステムの開発です。

沼田研究室では、CTスキャンやMRIなどから得られた患者の肝臓の3Dモデルを、手術の動きに合わせて変形させる技術に取り組んでいます。肝臓をぐっとつかみメスで切り込むといった外部から力を加えた際に、グニュっとした実際の質感にマッチしたリアルな変形を再現できるモデルの生成が目標。

こうした研究は、手術前に手術手順を確認するVR技術や、手術中に目の前の視野に重ねて仮想の肝臓を自由に動かしメスを入れる位置や血管の状態などを確認できるMR（複合現実）技術の高度化につながります。

The post AIやVR・MRの技術を活用し<br>成長をサポートする今までにないシステムを開発 appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.