脳の機能を活用した「アバター療法」で
メタバース空間でのリハビリテーションを実現

松居准教授が取り組んでいるのは、メタバース空間でのリハビリテーションを目指した「アバター療法」の研究です。この研究では、筋電図をインターフェースとして用い、メタバース空間で自分自身の身体と異なる特性を持つのアバターを操作する新たな手法を取り入れています。「Physio avatar（フィジオアバター）EB」と名付けられたこの技術の核となるのは、脳の機能を逆手に取ったリハビリテーション効果です。例えば、脳卒中で麻痺した患者でも、脳が「動かそう」と送る微弱な筋電図をアバターの動きに変換することで、「動く」という体験が得られます。動けない人が動くという体験は脳の「強化学習」につながり、神経回路の再構築に重要な効果をもたらします。

逆に健常者が「動かしにくいアバター」を操作した場合には、脳が予測した動きと実際の動きの差異を修正する「誤差学習」により、パフォーマンスが向上することが期待されます。

あるいは、自分より足が長いアバターを操作した場合は、足の指先と手先に振動子を装着して触覚フィードバックを与えると、あたかも自分の足が長くなったような錯覚が生じ、この状態で歩くと、足がよく上がるようになる効果が確認されています。

VR技術を活用すれば、場所を選ぶ必要がなくなり、ネットワークを通じて遠隔地のセラピストと共にメタバース空間でリハビリテーションを受けられるようになるでしょう。

電気刺激による身体特性の定式化で
運動器ヒューマンデジタルツインを構築

もう一つの研究の柱は、「運動器ヒューマンデジタルツイン」の実現です。これは人間の身体特性をデジタル空間に再現し、仮想空間上に精巧なコピーを構築する技術です。制御工学の「システム同定」という手法を応用し、電気刺激に対する身体の反応を精密に計測することで、その人固有の運動特性を数理モデルとして定式化します。

健常時にあらかじめ自分の身体特性を測定・保存しておけば、リハビリテーションの目標設定や装具のシミュレーションにも役立てられると考えられています。また、ここで得られる身体特性は筋肉量や脂肪の付き方によって個人差があり「サルコペニア肥満」など、筋肉量が著しく減少する疾患の新たな診断法として活用が期待されています。

The post メタバースとデジタルツインで拓く　<br>新たなリハビリテーションの可能性 appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

さまざまな手術のスキルアップを支援する
手術シミュレータ・ナビゲータを開発

腫瘍を摘出する外科手術などの際には、医師は切除する腫瘍の位置を把握して細心の注意を払いながら手術を進めていきます。けれども人間の体内はさまざまな組織や器官が複雑に組み合わされた3次元空間。入り組んだ部位の切除など非常に技術が求められる場合があり、事前のトレーニングや、手術中のナビゲーションなどの支援が求められています。

そこで大西研究室では、手術シミュレータや、手術ナビゲータの開発に取り組んでいます。

たとえば、シミュレータの画面には実際の撮影データに基づいて作られた3Dモデルの臓器が映し出され、腫瘍がマーカー表示されます。ユーザーは周囲の血管を傷つけないように腫瘍を取り出す訓練ができます。さまざまな症例をもとに、病巣を立体的（3次元）に理解することにも役立ちます。

また手術ナビゲータでは、手術中に映し出される医師の視界に、実際の腫瘍の場所をわかりやすく表示する方法についても検討しています。病巣の撮影データを基に計算した臓器内での位置関係が再現できれば、より臨床にあった効果的な、シミュレーションができるようになります。

リハビリのサポートから博物館の展示品鑑賞まで
HCIを取り入れ、ユーザーにやさしく

リハビリテーションや福祉の分野においても、VRの技術を利用して暴露療法をサポートするシステムを研究しています。

たとえば、高齢者が転倒した経験などから段差に対して芽生えた恐怖感を取り除くために、実際に踏み台を段差と見立て、VRゴーグル内のさまざまなシチュエーションの段差を見ながら昇降します。こうしたリハビリによって段差に慣れることをめざします。

また、博物館や美術館などの貴重な展示品への理解を深めるために、タブレット端末を利用した展示支援システムも開発しています。珍しい楽器など簡単にはふれられない展示品の前では、タブレットをかざすと楽器の音が流れ、解説文を読むことができます。近づくほどに音が大きくなったり、制限時間内に楽器を探し出すといった、ゲーム要素も導入。ガラスケースの中で展示品が陳列されているだけでなく、鑑賞者が自分の意思で積極的に関わることができるため、展示品への興味をより強く引き出すことができます。大西研究室では、こうした“楽しみながら学べる”新しい形の展示を提案しています。

The post <strong>福祉・医療も、エデュテインメントも<br>VRがコミュニケーションを進化させる！</strong> appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

医用・支援シミュレータ　
共同開発の始まりはVRゲームの学会発表!?

登尾研究室では、現在関西医科大学医学部医学科脳神経外科教室と、脳神経外科手術ナビゲーションシステムの開発に取り組んでいます。これは、実際の手術中の脳の映像にCTやMRIの画像から作られた患者の脳の3Dモデルを重ね合わせるシステムで、肉眼での確認が難しい臓器内の悪性腫瘍や血管を医師に提示し、外科手術をサポートするものです。 また腎臓外科手術や肝臓外科手術のナビゲータ・シミュレータの開発には、本学の大西教授や小枝准教授（現在・岡山県立大学 人間情報工学科）とともに参画しています。これらの共同研究では、それぞれの専門分野から開発されたVR技術が駆使されています。

こうした共同研究のきっかけとなったのは、第6回日本VR医学会学術大会で発表した「仮想空間におけるビリヤードやエアホッケーのゲーム」の研究です。発表内容は、物と物が衝突する際の力を分析し、物体にかかる力の感覚をゲームユーザーがリアルに体感できるシステムの開発に関するものでした。

当日、会場で発表を聴いた大阪大学歯学部の荘村泰治教授。医学生の教育現場で課題となっていた、技術習得の課題を解決できるのでは⁉と大きな可能性を感じます。

歯科医は通常、歯科バーで歯や顎の骨を削り治療を進めます。歯はエナメル質・象牙質・歯髄の三層構造になっており、削る際には手に伝わる感触がそれぞれ異なります。歯学生がこの練習を安全に行うために、VRゲーム構築で開発した技術を応用して「歯科施術シミュレータ」を開発できないか──。荘村教授はその場で登尾教授に共同研究を提案。現在、本学・情報学科では当たり前のように広がっている共同研究・共同開発の礎が、このとき生まれたのです。

選りすぐりのメンバーがワンチームに集結！　
ファンド獲得や人材育成など研究環境を整える

共同研究では、単独研究では不可能なマンパワーが生まれます。医用ナビゲータ・シミュレータの場合なら、メカ・カメラ・プログラム・CG・ヒューマンインターフェースなど、各ジャンルの専門家を大学や企業から集めて「強いチーム」を作ります。

また実社会の課題にリンクした共同研究ではチームや研究内容の優位性をプレゼンテーションすることで、研究費を獲得し環境を整えることができます。実際、登尾教授自身も科研費–基盤研究（Ｂ）の採択や、NEDO、JST等からの支援によって、求められるスピードや研究環境の質的な条件を確保し、維持しています。

さらに、本学情報学科第1期卒業生・水篠公範氏が設立したソフトウェア開発企業との連携により、社会に役立つ研究開発や専門性を活かした就職力など好循環を生み出しています。

共同研究には、むずかしい面もあります。医師は臨床での効果を、エンジニアは研究論文のインパクトを、企業は利益を、それぞれ重視します。コミュニケーションを活発にし、それぞれが納得できる落とし所を見つけてゆくことも、欠かせない大切な作業です。

• 参考文献
  仮想空間におけるビリヤードやエアホッケーのゲームの研究……「撃力衝突モデルに基づくビリヤードの視覚精度の向上」「撃力衝突モデルに基づくエアホッケーの触覚精度の向上」（国際会議Eurographics：2003年9月）
  Toshiko Iguchi, Tetsuya Kodama and Hiroshi Noborio, ‘A Precise Approach Calibrated by Experimental Data to Make an Artificial Impulse,’ Eurographics 2003, Short Presentations, Granada Spain, pp.241-248, 2003.

The post <strong>技術者・医師・企業の三者が<br>取り組む共同研究とは？</strong> appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

手術見学の教育効果をもっと高めるには？　
VR空間でとことん学ぶ手術学習支援システム

模範動作に近づくほど得点が上がる
楽しく続けられる高齢者向け体操ゲーム

一方、福祉・健康分野では高齢者向けの健康体操も研究テーマの一つです。

体操は手をきちんと伸ばすなど模範通りにやれば効果がより上がりますが、指摘されないと自分の動作の欠点に気づけません。そこで、より楽しく体操を続けてもらうよう、模範の動作に近づくほど点が高くなるゲームを開発。インストラクターによる体操動作からモーションキャプチャーで関節位置を解析し、模範としてキャラクターに動作させます。それを見ながら体操をするプレイヤーの動作をリアルタイムに解析し、模範動作との違いを判定して得点に反映させる仕組みです。

佐藤研究室では、ゲームの楽しさによって努力や苦労を感じずに効果を上げることを目標に、多彩な開発を続けています。

• 出典：https://developers.google.com/mediapipe/solutions/vision/pose_landmarker/

The post 社会の問題を「超現実」で解決　<br>医療、福祉・健康分野にゲーム技術を応用 appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

自分ができることの枠から飛び出して
一歩踏み込んだゲームやコンテンツ作りをめざす

教育、動線設計、コミュニケーションなど
ゲームの考え方は、多分野に応用できる！

ゲームは、ミッション達成のためにプレイヤー・敵・アイテム・ステージ等が複雑なバランスで設計されています。これをレベルデザインといいます。 森研究室ではこうしたゲームの考え方を教育に活かしています。たとえば、学生がスキルアップしながら制作できるように、ゲームジャムの中でも１・２年生が参加する入門編は間口を広くし、ゲーム制作に必要な勉強会も組み込んでいます。

教育だけでなく、たとえばプレイヤーをアイテムによって誘導する手法は、スーパーマーケット等で、買い物客の流れを設計する際動線設計に活かせます。対話しながらクエストをクリアするようなゲームは、集合知で課題解決を図る理想的なコミュニケーションの訓練にもなります。また、ゲームは「努力が報われてほめられる」装置でもあり、さまざまモチベーションアップのコツも隠されているのです。

こうした「ゲーム的思考」を多分野に展開していく方法の開発も現在構想中です。

The post 大手ゲーム会社での経験を活かし<br>「ゲーム的思考」を現実に取り組む！ appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.