手術支援 | WHO’S LAB ｜大阪電気通信大学研究室紹介サイト

福祉・医療も、エデュテインメントもVRがコミュニケーションを進化させる！

オフィスティ本田様 — Mon, 24 Jul 2023 02:06:00 +0000

「まるで現実」のような世界、つまり仮想現実＝VRは、ゲームなどの非現実の世界を楽しむのに優れた技術であることはよく知られています。
大西研究室では、こうしたVRの技術を、福祉や医療、教育といった分野で効果的に活用する研究に取り組んでいます。

さまざまな手術のスキルアップを支援する
手術シミュレータ・ナビゲータを開発

腫瘍を摘出する外科手術などの際には、医師は切除する腫瘍の位置を把握して細心の注意を払いながら手術を進めていきます。けれども人間の体内はさまざまな組織や器官が複雑に組み合わされた3次元空間。入り組んだ部位の切除など非常に技術が求められる場合があり、事前のトレーニングや、手術中のナビゲーションなどの支援が求められています。

そこで大西研究室では、手術シミュレータや、手術ナビゲータの開発に取り組んでいます。

たとえば、シミュレータの画面には実際の撮影データに基づいて作られた3Dモデルの臓器が映し出され、腫瘍がマーカー表示されます。ユーザーは周囲の血管を傷つけないように腫瘍を取り出す訓練ができます。さまざまな症例をもとに、病巣を立体的（3次元）に理解することにも役立ちます。

また手術ナビゲータでは、手術中に映し出される医師の視界に、実際の腫瘍の場所をわかりやすく表示する方法についても検討しています。病巣の撮影データを基に計算した臓器内での位置関係が再現できれば、より臨床にあった効果的な、シミュレーションができるようになります。

同一の臓器をレイヤーごとに表示し、病巣をマーカー表示

下垂体腫瘍摘出術などで利⽤される⿐腔内視鏡下⼿術のナビゲータ（プロトタイプ）
鼻から内視鏡を入れて脳下垂体の腫瘍を切除する手術.このナビゲーションシステムではどの骨を削るかなど,細かい術式を検討できる.

リハビリのサポートから博物館の展示品鑑賞まで
HCIを取り入れ、ユーザーにやさしく

リハビリテーションや福祉の分野においても、VRの技術を利用して暴露療法をサポートするシステムを研究しています。

たとえば、高齢者が転倒した経験などから段差に対して芽生えた恐怖感を取り除くために、実際に踏み台を段差と見立て、VRゴーグル内のさまざまなシチュエーションの段差を見ながら昇降します。こうしたリハビリによって段差に慣れることをめざします。

また、博物館や美術館などの貴重な展示品への理解を深めるために、タブレット端末を利用した展示支援システムも開発しています。珍しい楽器など簡単にはふれられない展示品の前では、タブレットをかざすと楽器の音が流れ、解説文を読むことができます。近づくほどに音が大きくなったり、制限時間内に楽器を探し出すといった、ゲーム要素も導入。ガラスケースの中で展示品が陳列されているだけでなく、鑑賞者が自分の意思で積極的に関わることができるため、展示品への興味をより強く引き出すことができます。大西研究室では、こうした“楽しみながら学べる”新しい形の展示を提案しています。

VR曝露療法システム
段差での転倒した経験などから芽生える恐怖感を取り除くために,VRゴーグル内のさまざまなシチュエーションの段差を見ながらリハビリを行う.

VRの技術を利用し,ゴーグルを付けた状態で踏み台を昇り降りすることで,多様なシチュエーションの段差が体験できる.

楽器の展示支援システム
鑑賞者は展示された楽器をタブレットを通して鳴らしたり,文化的な背景を紹介する解説文を読んだりとインタラクティブに関わり,楽しみながら学べる.

五感の全てを再現したホログラムの誕生で
地球の裏側の友達ともハグできる！?

現在のVRは音声やビジュアルがメインですが、今後は音・匂い・皮膚感覚・味といった五感の全てを創り出す技術が生まれるでしょう。
情報技術の歴史はコミュニケーション支援の歴史でもあります。自分が３Ｄのホログラムとなり、遠く離れて暮らす友達と握手やハグする日も遠くないかもしれません。

The post 福祉・医療も、エデュテインメントも
VRがコミュニケーションを進化させる！ appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

社会の問題を「超現実」で解決　医療、福祉・健康分野にゲーム技術を応用

大学広報課　木原様 — Fri, 07 Jul 2023 02:12:00 +0000

ち密でリアルな表現が可能な3DCGや、まるで現実のように仮想空間を体験できるVR。ゲームに関連する多様な先端技術を、さまざまな領域へ活用する動きが活発になっています。
佐藤研究室ではゲームの技術と考え方を応用し、医療、教育、福祉や健康など幅広い分野の問題を解決する研究を進めています。

手術見学の教育効果をもっと高めるには？　
VR空間でとことん学ぶ手術学習支援システム

ゲームの技術と考え⽅を応⽤し、医療や教育現場での課題を解決する。その一つが、関西医科大学と共同で行っている手術学習支援システムの開発です。

実際の手術を見学する授業は医学生にとって重要なプログラムですが、特に内視鏡手術などになると内視鏡カメラが撮影する小さな範囲しか見ることができず、内容が十分に把握できないなどの問題点がありました。そこで手術室内をVR空間に再現し、手術の内容を表現した3DCG動画や説明テキストなどを配置するシミュレーションシステムを開発。3DCG動画は視点や視角を自由に変えて見ることができ、さらに周辺臓器を透過させるなどして本来は見えない角度からも手術の動作や手術器具の操作を確認できます。

また3DCG動画と同時に内視鏡カメラで撮影された手術の実映像も見られます。

手術学習支援システムのホーム画面

手術室内の様子や医療器具に至るまで克明にCG化しVR空間として再現
上）V R空間　下）実際の手術室画像

左）内視鏡手術のシミュレーション画像　　　右）必要に応じて実画像も参照できる

模範動作に近づくほど得点が上がる
楽しく続けられる高齢者向け体操ゲーム

一方、福祉・健康分野では高齢者向けの健康体操も研究テーマの一つです。

体操は手をきちんと伸ばすなど模範通りにやれば効果がより上がりますが、指摘されないと自分の動作の欠点に気づけません。そこで、より楽しく体操を続けてもらうよう、模範の動作に近づくほど点が高くなるゲームを開発。インストラクターによる体操動作からモーションキャプチャーで関節位置を解析し、模範としてキャラクターに動作させます。それを見ながら体操をするプレイヤーの動作をリアルタイムに解析し、模範動作との違いを判定して得点に反映させる仕組みです。

佐藤研究室では、ゲームの楽しさによって努力や苦労を感じずに効果を上げることを目標に、多彩な開発を続けています。

正しい動作との比較を行う

モーションキャプチャーで関節の動きをデータ化する

出典：https://developers.google.com/mediapipe/solutions/vision/pose_landmarker/

手術教育やサポートの充実で
先端技術を使いこなすゴッドハンドを育てる

佐藤研究室が取り組む手術学習支援システムでは、遠隔操作での手術を可能にする手術支援ロボット「ダヴィンチ」の使用を再現しています。
ロボットアームについた鉗子やカメラを遠隔操作して行う手術は、すでに一般的になりました。ゲーム技術の応用によるシミュレーション技術が発展すれば、こうした最先端の医療ツールに習熟するスピードを速めることが可能になるかもしれません。また、インターネット上の仮想空間メタバースを使って熟練の医師が遠隔で指導するなどサポートも期待できそうです。

The post 社会の問題を「超現実」で解決　
医療、福祉・健康分野にゲーム技術を応用 appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

AIやVR・MRの技術を活用し成長をサポートする今までにないシステムを開発

大学広報課　木原様 — Fri, 07 Jul 2023 02:06:00 +0000

プログラミングを専門とする沼田研究室。多彩な研究テーマの中から、応用的な研究をご紹介します。
一つはまだあまり実現されていないAIによる書写のシステム、もう一つはVRやMRの技術を使った手術支援のシステムです。どちらも人の成長をサポートするための技術です。

AIにペン習字をさせるシステム　
筆運びを学習させて精度をアップ

沼田准教授自身の関心から生まれたのが、ペン習字学習支援アプリの研究です。ペン習字は、字典から手本の文字を探し、何度も書き写すことで上達します。ただ、「私は〇田△介と申します」など練習したい文字を、1字ずつ本からコピーして切り貼りし手本を作成するのは手間がかかります。

沼田研究室では、学習したい文字や文を手本の文字に変換するアプリを作成。手本の文字に補助線を入れるなど、アプリに登載する上達支援機能を開発しています。

さらにペン習字の字体を機械学習させ、AIにペン習字をさせる研究もスタートしました。今後は人の筆運びと同じ筆順なども含めた動きを学習させることにより、より美しいペン習字が書けるシステムの構築をめざしています。

ペン習字学習支援アプリ

開発中のAIペン習字システム

ぐっとつかまれた肝臓の動きを再現し
手術のリアルなシミュレーションを可能に

また、情報学科・登尾教授と共同で取り組んでいるのが、肝臓切除手術のシミュレーションシステム、手術中のナビゲーションシステムの開発です。

沼田研究室では、CTスキャンやMRIなどから得られた患者の肝臓の3Dモデルを、手術の動きに合わせて変形させる技術に取り組んでいます。肝臓をぐっとつかみメスで切り込むといった外部から力を加えた際に、グニュっとした実際の質感にマッチしたリアルな変形を再現できるモデルの生成が目標。

こうした研究は、手術前に手術手順を確認するVR技術や、手術中に目の前の視野に重ねて仮想の肝臓を自由に動かしメスを入れる位置や血管の状態などを確認できるMR（複合現実）技術の高度化につながります。

肝臓の追従性能の確認グラフ

肝臓追従のための画像領域分割を使用した新手法の提案

ツールに頼るのではなく
自分らしく生きるための技術とは?

スマートフォンが登場して10数年、これまではその機能の進化に人が引きずられているところもありました。便利な機能を使ってばかりだと、物事を観察し自分の頭で考えるといった人間がもともと持っていた咀嚼力は落ちてくるばかりです。
これからの社会では、人間が成長できる技術こそが求められるはず。自分は何をしたいのかを考え、やりたいことやすべきことを自ら見出すのに役立つような、今までにない技術が求められているかしもれません。

The post AIやVR・MRの技術を活用し
成長をサポートする今までにないシステムを開発 appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

手術支援 | WHO’S LAB ｜大阪電気通信大学研究室紹介サイト

福祉・医療も、エデュテインメントもVRがコミュニケーションを進化させる！

さまざまな手術のスキルアップを支援する手術シミュレータ・ナビゲータを開発

リハビリのサポートから博物館の展示品鑑賞までHCIを取り入れ、ユーザーにやさしく

五感の全てを再現したホログラムの誕生で地球の裏側の友達ともハグできる！?

社会の問題を「超現実」で解決 医療、福祉・健康分野にゲーム技術を応用

手術見学の教育効果をもっと高めるには？ VR空間でとことん学ぶ手術学習支援システム

模範動作に近づくほど得点が上がる楽しく続けられる高齢者向け体操ゲーム

手術教育やサポートの充実で先端技術を使いこなすゴッドハンドを育てる