誰でも簡単に
プロジェクションマッピングができる!?

映像を立体物に投影するプロジェクションマッピングは、アートやエンターテインメントだけでなく、近年では製造業や教育などさまざまな分野へと用途が広がっています。単に視覚的な演出というだけでなく、空間をメディア化する技術へと進化を遂げています。

プロジェクションマッピングでは、立体物の形に合わせて映像を正確に変形する必要があります。立体物の外に映像がはみ出ないよう外形に合わせて映像を切り出し、さらに、2Dの映像を表面が凸凹した立体に投影してもゆがんだりしないような変形処理が不可欠です。投影する対象が人体や動物、車など自由曲面で構成された立体だと、その変形を画素単位の非常にきめ細かなレベルで行う必要があります。

永野教授はこうした手間のかかる処理を自動化し、誰でも簡単にプロジェクションマッピングができる技術を研究しています。マネキンの胸像に顔の画像を投影する装置・アプリの開発では、10分程度で簡単にプロジェクションマッピングができる自動化システムを実現しました。

また、プロジェクター4台を使って4方向から映像を立体物に投影し、360度から鑑賞できるシステムの開発にも挑戦中です。さらに研究を進め、博物館などで展示物に映像を投影して、ARのように文字や映像の情報をスマートフォンやヘッドマウントディスプレイなしで楽しめるようなシステムの開発をめざしています。

遠隔地から脳血管カテーテル治療ができる　
ロボットシステムの開発

永野教授は、医療現場の問題解決にもチャレンジしています。脳動脈瘤やくも膜下出血など脳血管の病気の治療法として、カテーテルと呼ばれる細い管を血管内に通して治療する脳血管内治療があります。開頭手術に比べて患者の負担が少ないため、近年、急速に発展しています。一方で、これは脳血管をX線で造影しながら行う長時間にわたることも多い治療で、医師など医療従事者の放射線被ばくリスクが問題になっています。

そこで永野教授は、血管内治療支援ロボットを使ってリモートで治療する、遠隔手術システムの開発に研究を進めています。血管内治療支援ロボットは、術者が操作するジョイスティックの傾きデータをロボットに転送し、そのデータに合わせてガイドワイヤーやカテーテルなどのデバイスを駆動するという仕組みです。デバイスに強い力がかかると血管壁を傷つける可能性があるため、ロボットの力加減のコントロールが不可欠。センサーで測定した力加減を音程の高低に変換して術者にフィードバックし、血管壁にかかる圧力の具合をリアルタイムに把握できるようにしています。

2024年には80キロ離れた地点間で模擬手術を実施し、臨床応用につながるさまざまな成果を上げました。今後は、力加減のフィードバック機能をさらに高め、安全なロボット技術の開発を進めるとともに、Wi-Fi回線、WAN回線による実証を重ね実用化をめざします。

The post 実世界の情報収集・分析と<br>デジタル画像処理で社会課題に挑戦 appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

ゲームの魅力を目に見える形にする
MDAフレームワークを使った分析

視覚表現を含めた丁寧な作りも重要　
デジタル技術の進化でゲームは変わる

MDAとは別の次元で、丁寧な作りかどうかという評価軸もあります。ゲームの世界観を伝える表現もその一つ。色彩や動きなどの視覚表現、ストーリーやキャラクターの作り込みなどのポイントを押さえながらいかにクリエイターの個性が発揮されているかが、ゲームの魅力を高めます。近年のゲームには、ユーザーがそれほど負担なく楽しめるようにした簡易化や、パソコンの性能が上がったことでさまざまなメカニクスやダイナミクスを一つのゲームに盛り込む統合化の傾向が見られます。

また、ゲーム開発に共通の処理をソフトウェア化したゲームエンジンの提供も進展。ゲーム会社でなくてもゲームが作れる時代が来ることで、また新たなゲームが生まれるかもしれません。

The post 続々と生まれ続けるデジタルゲームコンテンツ　<br>その面白さの源泉を解き明かす研究 appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

ヒトが立ち上がる仕組みを解明し
筋力トレーニングに応用

ヒトは立ち上がる時、股関節を伸ばす大殿筋、膝関節を伸ばすための大腿四頭筋を使っているとされています。

小出講師は、「まっすぐ上に向かって立ちあがる」という動作を、筋電計によって詳しく解析。その結果、大殿筋はほとんど使われておらず、代わりに、大腿四頭筋のうち、特に内側広筋と大腿直筋をメインに立ちあがり動作が行われていることを突き止めました。この立ち上がり動作を支える２つの筋のうち、大腿直筋は股関節と膝関節の二関節を結ぶ大きな筋肉で、重心や姿勢を安定させる役割を果たしていることが明らかになりました。

小出講師は、現在この立ちあがり動作が、「老化などによって立てなくなる」現象を解明するべく研究に取り組んでいます。また、こうした研究によって明らかになった筋肉動作のメカニズムを活かして、トレーニング機器の開発にも着手。「立ちあがり」動作のキーとなる大腿四頭筋を中心に鍛えられるトレーニングマシンの開発をめざしています。「立ちあがり」動作ができることは、寝たきり防止の観点からも重要な意味を持ちます。同時に、同じマシンでアスリートのパフォーマンスアップが目指せるような、多目的で必要に応じた筋肉が鍛えられるトレーニングマシンをコンセプトに、開発にあたっています。

リアルな胸の音を集めた
聴診の学習システムを開発

また、小出研究室では臨床工学技士をめざす学生のための教育機器の開発にも取り組んでいます。臨床工学技士は、人工心肺装置や人工呼吸器、人工透析器など患者さんの生命を維持する装置を扱う医療専門職です。臨床現場では、医師や看護師と同じように聴診を行い、呼吸音や心音をはじめ患者さんの身体から発せられている異常音を聴き分けねばならない状況が多々あります。

聴診では、正常音とされる音の範囲や「副雑音」と言われる、さまざまな病気や症状からくる特徴的な音を聴き分けることが求められます。患者さんの病状を正確に把握するには、当然のことながら膨大な知識や経験が必要で、聴診は現役医療スタッフにとっても難易度の高いスキルの一つとされています。

そこで、小出研究室ではVR技術を使った聴診の学習システムを開発。実際の聴診音の中から様々な音を収集し、よりリアルな音を再現。聴診の手技についても学習できるシミュレーションシステムを構築するべく、アップデートを重ねています。

The post <strong>QOLを左右する立ち上がり動作　</strong><br><strong>詳細な解析で健康寿命を延ばす</strong> appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

さまざまな手術のスキルアップを支援する
手術シミュレータ・ナビゲータを開発

腫瘍を摘出する外科手術などの際には、医師は切除する腫瘍の位置を把握して細心の注意を払いながら手術を進めていきます。けれども人間の体内はさまざまな組織や器官が複雑に組み合わされた3次元空間。入り組んだ部位の切除など非常に技術が求められる場合があり、事前のトレーニングや、手術中のナビゲーションなどの支援が求められています。

そこで大西研究室では、手術シミュレータや、手術ナビゲータの開発に取り組んでいます。

たとえば、シミュレータの画面には実際の撮影データに基づいて作られた3Dモデルの臓器が映し出され、腫瘍がマーカー表示されます。ユーザーは周囲の血管を傷つけないように腫瘍を取り出す訓練ができます。さまざまな症例をもとに、病巣を立体的（3次元）に理解することにも役立ちます。

また手術ナビゲータでは、手術中に映し出される医師の視界に、実際の腫瘍の場所をわかりやすく表示する方法についても検討しています。病巣の撮影データを基に計算した臓器内での位置関係が再現できれば、より臨床にあった効果的な、シミュレーションができるようになります。

リハビリのサポートから博物館の展示品鑑賞まで
HCIを取り入れ、ユーザーにやさしく

リハビリテーションや福祉の分野においても、VRの技術を利用して暴露療法をサポートするシステムを研究しています。

たとえば、高齢者が転倒した経験などから段差に対して芽生えた恐怖感を取り除くために、実際に踏み台を段差と見立て、VRゴーグル内のさまざまなシチュエーションの段差を見ながら昇降します。こうしたリハビリによって段差に慣れることをめざします。

また、博物館や美術館などの貴重な展示品への理解を深めるために、タブレット端末を利用した展示支援システムも開発しています。珍しい楽器など簡単にはふれられない展示品の前では、タブレットをかざすと楽器の音が流れ、解説文を読むことができます。近づくほどに音が大きくなったり、制限時間内に楽器を探し出すといった、ゲーム要素も導入。ガラスケースの中で展示品が陳列されているだけでなく、鑑賞者が自分の意思で積極的に関わることができるため、展示品への興味をより強く引き出すことができます。大西研究室では、こうした“楽しみながら学べる”新しい形の展示を提案しています。

The post <strong>福祉・医療も、エデュテインメントも<br>VRがコミュニケーションを進化させる！</strong> appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

医用・支援シミュレータ　
共同開発の始まりはVRゲームの学会発表!?

登尾研究室では、現在関西医科大学医学部医学科脳神経外科教室と、脳神経外科手術ナビゲーションシステムの開発に取り組んでいます。これは、実際の手術中の脳の映像にCTやMRIの画像から作られた患者の脳の3Dモデルを重ね合わせるシステムで、肉眼での確認が難しい臓器内の悪性腫瘍や血管を医師に提示し、外科手術をサポートするものです。 また腎臓外科手術や肝臓外科手術のナビゲータ・シミュレータの開発には、本学の大西教授や小枝准教授（現在・岡山県立大学 人間情報工学科）とともに参画しています。これらの共同研究では、それぞれの専門分野から開発されたVR技術が駆使されています。

こうした共同研究のきっかけとなったのは、第6回日本VR医学会学術大会で発表した「仮想空間におけるビリヤードやエアホッケーのゲーム」の研究です。発表内容は、物と物が衝突する際の力を分析し、物体にかかる力の感覚をゲームユーザーがリアルに体感できるシステムの開発に関するものでした。

当日、会場で発表を聴いた大阪大学歯学部の荘村泰治教授。医学生の教育現場で課題となっていた、技術習得の課題を解決できるのでは⁉と大きな可能性を感じます。

歯科医は通常、歯科バーで歯や顎の骨を削り治療を進めます。歯はエナメル質・象牙質・歯髄の三層構造になっており、削る際には手に伝わる感触がそれぞれ異なります。歯学生がこの練習を安全に行うために、VRゲーム構築で開発した技術を応用して「歯科施術シミュレータ」を開発できないか──。荘村教授はその場で登尾教授に共同研究を提案。現在、本学・情報学科では当たり前のように広がっている共同研究・共同開発の礎が、このとき生まれたのです。

選りすぐりのメンバーがワンチームに集結！　
ファンド獲得や人材育成など研究環境を整える

共同研究では、単独研究では不可能なマンパワーが生まれます。医用ナビゲータ・シミュレータの場合なら、メカ・カメラ・プログラム・CG・ヒューマンインターフェースなど、各ジャンルの専門家を大学や企業から集めて「強いチーム」を作ります。

また実社会の課題にリンクした共同研究ではチームや研究内容の優位性をプレゼンテーションすることで、研究費を獲得し環境を整えることができます。実際、登尾教授自身も科研費–基盤研究（Ｂ）の採択や、NEDO、JST等からの支援によって、求められるスピードや研究環境の質的な条件を確保し、維持しています。

さらに、本学情報学科第1期卒業生・水篠公範氏が設立したソフトウェア開発企業との連携により、社会に役立つ研究開発や専門性を活かした就職力など好循環を生み出しています。

共同研究には、むずかしい面もあります。医師は臨床での効果を、エンジニアは研究論文のインパクトを、企業は利益を、それぞれ重視します。コミュニケーションを活発にし、それぞれが納得できる落とし所を見つけてゆくことも、欠かせない大切な作業です。

• 参考文献
  仮想空間におけるビリヤードやエアホッケーのゲームの研究……「撃力衝突モデルに基づくビリヤードの視覚精度の向上」「撃力衝突モデルに基づくエアホッケーの触覚精度の向上」（国際会議Eurographics：2003年9月）
  Toshiko Iguchi, Tetsuya Kodama and Hiroshi Noborio, ‘A Precise Approach Calibrated by Experimental Data to Make an Artificial Impulse,’ Eurographics 2003, Short Presentations, Granada Spain, pp.241-248, 2003.

The post <strong>技術者・医師・企業の三者が<br>取り組む共同研究とは？</strong> appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

VRで楽しめる3DCGで大名行列を可視化　
小学算数のデジタル教科書制作にも参画

少しとっつきにくい事柄でも、ビジュアルによる解説があればすんなりと頭に入ります。上田研究室では、観光や教育などのコンテンツをアニメーション化する取り組みを行っています。

たとえば、奈良県大和郡山市との協働事業として、郡山藩の大名行列を5分間の3Dアニメーションとして再現することにチャレンジしています。同時代の大名行列の資料を検証して衣装や行列の組み方などを詳細に作り込み、VR端末で鑑賞することで、まるで目の前を大名行列が通るような感覚を創出します。

また、教科書出版社からの委託により、小学１年生から６年生までの全学年の小学算数のデジタル教科書制作に参画。教科書のアニメーション部分を担当し、挿し絵や解説図、教科書のキャラクターが動くことによって、わかりやすく読んで楽しい教科書をめざします。現在2024年度版の完成に向けて試行錯誤を繰り返しているところです。

アニメーション映画フェスティバルへの出品や
ゲームの質感表現の追究も

上田研究室ではアナログからデジタルまで多彩なアニメーション技術を学び実践することができます。コマ撮りを繰り返して完成させるストップモーションアニメーションや円筒を使って幻想的な映像を作るプラキシノスコープといった、アニメーションの原点ともいえる技法を使ったアナログ作品も制作してきました。

アナログ・デジタルを問わず、学生が制作したアニメは大阪電気通信大学選抜作品となり、学生のアニメーション映画祭として名高いICAF（Inter College Animation Festival） に出品されています。

また、アニメーションの世界観を構成する上で欠かせないのが質感表現です。ゲームキャラクターとフォトリアルな背景が違和感なくなじむように、陰影を調整してうまく合成する方法の研究など、アニメの原点から最新の3DCGまで、あらゆる技法を実践的に追究することで、まだ誰も見たことのない斬新なアニメーションの誕生をめざしています。

The post <strong>多様な分野と多彩な手法で</strong><br><strong>アニメーションの可能性を追究する！</strong> appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

考古学をもっと身近にわかりやすく
VRで古墳体験＆ARで遺物鑑賞

文化財の調査や記録から
美術館・博物館での展示など歴史を身近にするIT技術

文化財を守り、後世に伝え、歴史理解や観光などに活用するためのさまざまな場面でIT技術は重要な役割を担っています。文化財の調査・記録といった分野では、3D計測技術やセンサの活用によって文化財の詳細な計測を行い、歴史学や考古学の研究を支えています。また取得したデータや資料を整理し、デジタルアーカイブとして公開することで、研究者だけでなく一般の人にも資料が共有できるようになります。

さらに、IT技術によって得られた詳細なデータをもとにVR /ARアプリが開発されることで、歴史をよりリアルに感じられるようになります。たとえば美術館や博物館では、VRやARの中で展示品を手に取って鑑賞する体験が可能になります。また観光地では、神社・仏閣といった史跡だけでなく伝統産業品・郷土料理など、旅行者それぞれの興味関心に合った立体的な歴史学習が可能になります。IT技術が関わることで、文化財への理解がより身近なものとして深まる可能性が生まれています。

The post 文化遺産をITで守る、伝える、活用する<br>3D技術、VR/AR技術で考古学の研究や普及を支援！ appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

手術見学の教育効果をもっと高めるには？　
VR空間でとことん学ぶ手術学習支援システム

模範動作に近づくほど得点が上がる
楽しく続けられる高齢者向け体操ゲーム

一方、福祉・健康分野では高齢者向けの健康体操も研究テーマの一つです。

体操は手をきちんと伸ばすなど模範通りにやれば効果がより上がりますが、指摘されないと自分の動作の欠点に気づけません。そこで、より楽しく体操を続けてもらうよう、模範の動作に近づくほど点が高くなるゲームを開発。インストラクターによる体操動作からモーションキャプチャーで関節位置を解析し、模範としてキャラクターに動作させます。それを見ながら体操をするプレイヤーの動作をリアルタイムに解析し、模範動作との違いを判定して得点に反映させる仕組みです。

佐藤研究室では、ゲームの楽しさによって努力や苦労を感じずに効果を上げることを目標に、多彩な開発を続けています。

• 出典：https://developers.google.com/mediapipe/solutions/vision/pose_landmarker/

The post 社会の問題を「超現実」で解決　<br>医療、福祉・健康分野にゲーム技術を応用 appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

自分ができることの枠から飛び出して
一歩踏み込んだゲームやコンテンツ作りをめざす

教育、動線設計、コミュニケーションなど
ゲームの考え方は、多分野に応用できる！

ゲームは、ミッション達成のためにプレイヤー・敵・アイテム・ステージ等が複雑なバランスで設計されています。これをレベルデザインといいます。 森研究室ではこうしたゲームの考え方を教育に活かしています。たとえば、学生がスキルアップしながら制作できるように、ゲームジャムの中でも１・２年生が参加する入門編は間口を広くし、ゲーム制作に必要な勉強会も組み込んでいます。

教育だけでなく、たとえばプレイヤーをアイテムによって誘導する手法は、スーパーマーケット等で、買い物客の流れを設計する際動線設計に活かせます。対話しながらクエストをクリアするようなゲームは、集合知で課題解決を図る理想的なコミュニケーションの訓練にもなります。また、ゲームは「努力が報われてほめられる」装置でもあり、さまざまモチベーションアップのコツも隠されているのです。

こうした「ゲーム的思考」を多分野に展開していく方法の開発も現在構想中です。

The post 大手ゲーム会社での経験を活かし<br>「ゲーム的思考」を現実に取り組む！ appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

『星の王子さま』の物語世界が
AR技術でさらに自由な広がりを持つ

ナガタ准教授は、アートユニット「トーチカ」として作家活動を行っています。その一つ「見えざるものと王子さまの旅」は、サン＝テグジュペリ『星の王子さま』を原作にしたメディアアートです。

展示会場では、スマートフォンやタブレット越しに3DCGやアニメーション作品がARとして現れます。遠隔地からビデオチャットでコミュニケーションできるアバターロボットがガイドを担当。また、王子さまからのお願いに応えて来場者がペンライトで絵を描いたり、展示会場の地元の方を対象に、ある方向から見た時だけ羊が浮かび上がってくるように壁画を描いてゆくワークショップなど、インタラクティブな仕掛けがいっぱい。作り手と見る側がシームレスにつながるアート空間を創造しています。

宴会の席でプロの落語を鑑賞！？　
モーションキャプチャーで動きを再現した「AR落語」

一方、ナガタ研究室では、新しい映像コンテンツ「AR落語」をゲーム会社・株式会社スケルトンクルーと共同で開発しています。

上方落語界で活躍する桂米紫師匠に落語を演じていただき、体の動きをキャプチャー。手先の動きや表情、声もそれぞれ別のデータとして収録します。たとえば表情は、iPhoneの顔認識機能で収集したデータに自然な動きになるよう調整を加えるなどし、各要素をキャラクター化した落語家が演じる動画として統合しました。すでに公開中ですが、花見の席でAR落語を楽しむなど風流な使い方をする人もいるとか。

現在も開発を続行中で、新バージョンでは、見ている人が「匠の技だ!」といった定型コメントを送信できる機能の追加を予定しています。

The post <strong>つくる側と観る側の壁を取っ払った<br>今までにない空間で生まれるビジュアルアート</strong> appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.