3D | WHO’S LAB ｜大阪電気通信大学研究室紹介サイト

映像や画像から新たな情報を読み取って活用！　深層学習とアルゴリズムで空間の見え方が変わる！

オフィスティ本田様 — Thu, 21 Sep 2023 01:11:00 +0000

私たちの生きる３次元の世界は、ほぼ全てに幅と奥行きと高さがあります。つまり空間を的確に認識する技術は、世界を制する技術に繋がります。
越後研究室ではプリント基板といった小さな部品からビル等の巨大建築物まで、さまざまな空間に使える技術を研究中です。

2012年、画像認識に革命を起こした
CNN（畳み込みニューラルネットワーク）とは？

「この写真、犬か猫かどっち？」と聞かれれば、子どもでも正確に答えることができます。ところが高性能なAIでも、ひと昔前までこの判断が苦手でした。「○○であり、○○でなければ猫」という風に、猫という結果に導く計算手順＝アルゴリズムを、人間がコンピュータに教えていたため、逸脱した例の識別でミスが起きたのです。

ところが2012年にCNNモデルを使った深層学習が登場します。犬と猫の大量データをAIが読み込み、その特徴を重み付けし、足し合わせた結果をフィードバックして識別する方法です。これにより画像認識の精度は劇的に向上しました。さらに最近話題になっているChatGPTで使われているTransformerを画像にも適用したVision Transformer(ViT) の認識精度が向上し、CNNの認識精度に迫っています。画像は物体を見る方向が異なると大きく変形することが多く、深層学習が登場する以前は、見る方向を離散的なグラフで表現したアルゴリズムが主流でした。

越後研究室では画像・映像認識に関する深層学習とグラフ構造アルゴリズムを組み合わせて、さまざまな技術を研究しています。

深層学習を用いた人物追跡（人流計測）

CNN（畳み込みニューラルネットワーク）のネットワーク構造

基板設計の自動化からリアルタイム障害物回避まで　
ワイドなAIの画像認識技術の応用範囲

既に実用化しているのが、本学卒業生が創業者の(株)オンテックのプリント基板の設計システム開発です。越後教授は技術顧問として、この基板設計のプロセスをアルゴリズムでルール化。CADで数日かかった作業を数時間に短縮することができました。今後は深層学習も取り入れた、より複雑な基板設計への対応をめざします。

また、サーモカメラと距離センサーのデータを統合した「3Dサーモ」によって、普通は見ることのできない空間内温度分布の可視化を実現。ほかにも、映像中の人物を背景や他の人物と区別して追跡したり、撮影した映像を3DCGとして復元するなど、深層学習を使ったさまざまな技術を開発しています。

さらに現在、新たに取り組んでいるのが、移動しながらリアルタイムに障害物を検知し、自律的に回避行動を行うロボットの研究開発です。

3次元サーモ（空間の温度分布の可視化）

高層ビルもスイスイ回避して飛行する
「空飛ぶ自律型タクシー」でお出かけ!?

ロボットが自律的に考え動く世界はすぐそこまで来ています。
そこで必要なのは「人間と共生できるロボット」。たとえばリアルタイムに障害物を検知して回避できる自律型ロボットの技術が発展すれば、空飛ぶ自動運転の自動車、病院内での回診、迷子探しなど、さまざまな機能やスタイルが考えられます。
共通して求められるのは、私たちがその存在をロボットではなく人間のようだと感じられるような柔軟な対話性であり、それがAIの大きな課題です。

The post 映像や画像から新たな情報を読み取って活用！　
深層学習とアルゴリズムで空間の見え方が変わる！ appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

色の見え方を正確に再現して伝える画像処理技術でデジタルアーカイブやネット通販が変わる

大学広報課　木原様 — Thu, 29 Jun 2023 06:57:07 +0000

商品を写真で見るのと実際に手に取って見るのとで、色味や質感がかなり違うことがよくあります。これは、光源の色や光の反射の仕方などによって色の見え方が変わることが原因。
土居研究室では、光をより細かい波長に分けて色の情報を取得し、より正確なものの見え方を再現しています。

3D情報と詳細な色情報を統合し
物体の鮮やかな色彩やリアルな質感を伝える

より正確に、リアルな見え方を再現する。その一つが、より精細な色の情報を使った3D画像処理の研究です。一般のカメラは赤、青、緑の3つの波長の色情報を取得し重ね合わせて画像として再現しています。

土居研究室では、さらに細かく12の波長で色の情報を記録し、それらの色の情報と3D情報とを一つのファイルに統合するフォーマットを研究。さまざまな照明の環境に対応した物体の色をきめ細かく再現し、それにより質感もよりリアルに表現できる技術に挑戦中です。

この技術を美術作品や史料などのデジタルアーカイブに活用すれば、美術館や博物館で見るのに近い色や質感の画像として表示可能に。また、インターネット通販では、より実物に近い画像で商品の魅力を正確に伝える効果が期待できます。

RGB-Dカメラという距離のデータを取得できるカメラで撮影. 12の波長ごとに色の情報を記録する.

RGB-Dカメラで撮影した12の波長の色の記録データ.それぞれの波長ごとに色の情報が記録される.数字は可視光線の波長を示す（nm：ナノメートル）.

照明の光の特性や環境が変わると色の見え方が変わる.画像は,白っぽい光の照明と黄色っぽい光の照明を照射した場合の,色の再現の違い.

皮膚のしみや赤味を人工的に生成し
美容や医療のシミュレーションに活用

土居研究室では、色の詳細な情報処理技術を使って肌の色素の分析も行っています。

皮膚のしみや赤味、あざなど色素斑の色の見え方を、さまざまな波長の情報を取得して分析。しみのもとになるメラニンなどの分布や、皮膚の色素の吸収度合、皮膚のきめなどテクスチャーも加味しながら計算し、皮膚に色素斑を人工的に合成したリアルな画像を作成しました。

さらに、AIのディープラーニングを使って色素斑の形状を学習させ、自動的に色素斑の画像を合成する研究も進めています。この色素斑画像生成技術を使って、ファンデーションのカバー力や周囲の肌とどうなじむかなどの効果をシミュレーションできるほか、CGでのリアルな皮膚の表現にも生かすことができます。

上段左からしみ,赤味,あざの合成画像.下段はそれぞれ実物のデータ.こうした例をAIに学習させ,自然な形状を再現できるようにする.

身の回りの大切なものをデジタル空間に再現し
仮想現実世界でコミュニケーション

デジタルツインやメタバースなど、デジタル空間に仮想現実世界を構築する技術が進展しています。もし、普段身の回りにあるものをパシャッと気軽にキャプチャーし、リアルに近い形でデジタル空間に再現できれば、仮想現実での活動がさらに活発になりそう。
小さいころから大事にしていたぬいぐるみなど、その人にとって価値のあるものがデジタル上でも相棒になってくれたら、メタバースでの過ごし方も変わってくるかもしれません。

The post 色の見え方を正確に再現して伝える画像処理技術で
デジタルアーカイブやネット通販が変わる appeared first on WHO’S LAB ｜大阪電気通信大学研究室紹介サイト.

3D | WHO’S LAB ｜大阪電気通信大学研究室紹介サイト

映像や画像から新たな情報を読み取って活用！ 深層学習とアルゴリズムで空間の見え方が変わる！

2012年、画像認識に革命を起こしたCNN（畳み込みニューラルネットワーク）とは？

基板設計の自動化からリアルタイム障害物回避まで ワイドなAIの画像認識技術の応用範囲

高層ビルもスイスイ回避して飛行する「空飛ぶ自律型タクシー」でお出かけ!?