Advantages
- イベントベースカメラを使い、物体の振動によって生じる明るさの変化を測定し音に変換する、ビジュアルマイクロフォン技術。
- ギターの弦やスピーカーなどの振動を画像データから音に変換する技術を実証済み。
- 従来技術からのメリット：処理するデータが軽いため、計算コストが低い。特殊な照明が不要。
Background and Technology
振動を測定・可視化する技術の一つに、振動を画像として記録して音を再現する技術「ビジュアルマイクロフォン」がある。 この技術では例えばレーザードップラー振動計（LDV)やハイスピードカメラ（HSC）といった非接触な観察装置が使われる。こうした装置によるビジュアルマイクロフォンは高い測定精度を提供する一方で、いくつかの課題を抱えている。例えば、LDV は装置が高価でありまた設置のコストもかかるため使いやすさに難がある。また、HSCは解像度とサンプリング周波数がトレードオフであることや、明るい照明を必要とする点、さらには動画大量のデータ処理に伴う計算コストの高さが問題視されている。
そこで、これらの課題を解決するために、本研究者らはイベントベースカメラを用いた低コストかつ使いやすい、ビジュアルマイクロフォンを開発した（下図）。イベントベースカメラは、明るさの変化と時刻のみを記録する装置であり、記録頻度が非常に高速（1秒間に100万イベント以上）である。また、HSCと異なり、高速な撮影速度と高い解像度を両立しており、明るい照明も不要なため、本技術は幅広い使用環境や対象を測定できる。また、HSCは明るさと色の情報を画角全体で記録する装置だが、イベントベースカメラは明るさの変化しか情報を記録しないため、データが非常に軽量であり計算処理のコストも低い。
筑波大学の研究グループは、イベントベースカメラに特化した情報処理ソフトウェアを独自に開発し、高い再現性と早い処理速度で振動データから音を再現することに成功した。例えば、ギターの弦など振幅を撮影できる発音体から出る音を復元した。また、イベントベースカメラが音源から10 m程度離れた遠隔環境での再現や、複数の音が同時に鳴っている環境で特定の物体の音を再現するなどの実験にも成功している。詳しくは、下記の動画をご覧いただきたい。
Data
本技術を用いたビジュアルマイクの動画参照。
Expectations
本技術をライセンス導入し、製品化・実用化いただける、企業様を探しています。本技術は、例えば次のような用途に活用いただけると考えます。
- 工業機械の設計・メンテナンス等において、物体の振動を検査する、振動測定装置
- 自動車・鉄道・航空機など振動のモニタリングが必要な製品の保守システム
- 音響解析・新たな音楽再現技術の応用
本技術に関し、研究者との直接のご面談によるお打合せや、筑波大学との秘密保持契約の締結による情報交換も可能です。弊社へお気軽にお尋ねください。
Publications
Publications
丹羽遼吾,落合陽一,他.
“Event-based Visual Microphone: Non-contact Vibration Sensing using Event Camera”. 日本音響学会第150回 (2023年秋季) 研究発表会.2023.
Patents
特開2024-165819
Researchers
落合 陽一 准教授 （筑波大学 図書館情報メディア系） ほか
以下のフォームからお問い合わせください