Nově vyvinutý optický mikrofon zachycuje zvuk jako nikdy předtím

Nově vyvinutý optický mikrofon zachycuje zvuk jako nikdy předtím

 

Kamerový systém vyvinutý výzkumníky z Carnegie Mellon University dokáže vidět zvukové vibrace s takovou přesností a detaily, že dokáže rekonstruovat hudbu jednoho nástroje v kapele nebo orchestru.

Ani ty nejvýkonnější a nasměrované mikrofony nedokážou eliminovat okolní zvuky, okolní hluk a vliv akustiky při zachycování zvuku. Nový systém vyvinutý v Institutu robotiky School of Computer Science (RI) využívá dvě kamery a laser ke snímání vysokorychlostních povrchových vibrací s nízkou amplitudou. Tyto vibrace lze použít k rekonstrukci zvuku, zachycení izolovaného zvuku bez dedukce nebo mikrofonu.

"Vynalezli jsme nový způsob, jak vidět zvuk," řekl Mark Sheinin, postdoktorandský výzkumný pracovník v Illumination and Imaging Laboratory (ILIM) v RI. "Je to nový typ kamerového systému, nové zobrazovací zařízení, které je schopno vidět něco neviditelného pouhým okem."

Tým dokončil několik úspěšných ukázek účinnosti jejich systému při snímání vibrací a kvalitě rekonstrukce zvuku. Zachytili izolovaný zvuk oddělených kytar hrajících ve stejnou dobu a jednotlivých reproduktorů hrajících různou hudbu současně. Analyzovali vibrace ladičky a použili vibrace sáčku Doritos poblíž reproduktoru k zachycení zvuku vycházejícího z reproduktoru. Toto demo vzdává hold předchozí práci výzkumníků z MIT, kteří v roce 2014 vyvinuli jeden z prvních vizuálních mikrofonů.

Systém CMU dramaticky zlepšuje dřívější pokusy zachytit zvuk pomocí počítačového vidění. Při práci týmu se používají běžné kamery, které stojí zlomek vysokorychlostních verzí používaných v minulých výzkumech, přičemž produkují záznam vyšší kvality. Systém duální kamery dokáže zachytit vibrace pohybujících se objektů, jako jsou pohyby kytary, když na ni hudebník hraje, a současně snímat jednotlivé zvuky z více bodů.

"Udělali jsme z optického mikrofonu mnohem praktičtější a použitelnější zařízení" řekl Srinivasa Narasimhan, profesor na RI a vedoucí ILIM. "Zlepšili jsme kvalitu a zároveň snížili náklady."

Systém funguje tak, že analyzuje rozdíly ve vzorcích skvrn ze snímků pořízených rolovací závěrkou a globální závěrkou. Algoritmus vypočítá rozdíl ve vzorcích skvrn ze dvou video streamů a převede tyto rozdíly na vibrace, aby rekonstruoval zvuk.

Skvrnitý vzor označuje způsob, jakým se koherentní světlo chová v prostoru poté, co se odrazí od hrubého povrchu. Tým vytváří skvrnitý vzor namířením laseru na povrch předmětu, který vytváří vibrace, jako je tělo kytary. Vzorek skvrn se mění, jak povrch vibruje. Rolovací závěrka zachycuje obraz rychlým skenováním, obvykle shora dolů, a vytváří obraz naskládáním jedné řady pixelů na druhou. Globální závěrka zachytí obraz v jediné instanci najednou.

K Sheininovi a Narasimhanovi se k výzkumu připojili Dorian Chan, Ph.D. student informatiky a Matthew O'Toole, odborný asistent na katedře RI a informatiky.

"Tento systém posouvá hranice toho, co lze udělat s počítačovým viděním," řekl O'Toole. "Toto je nový mechanismus pro zachycení vysoké rychlosti a drobných vibrací a představuje novou oblast výzkumu."

Většina práce v počítačovém vidění se zaměřuje na tréninkové systémy, které rozpoznávají objekty nebo je sledují při pohybu vesmírem – výzkum důležitý pro pokrok technologií, jako jsou autonomní vozidla. To, že tato práce umožňuje systémům lépe vidět nepostřehnutelné vysokofrekvenční vibrace, otevírá nové aplikace pro počítačové vidění .

Týmový systém duální závěrky, optický systém snímání vibrací , by mohl zvukovým inženýrům umožnit sledovat hudbu jednotlivých nástrojů bez rušení zbytku souboru, aby doladili celkový mix. Výrobci by mohli systém použít k monitorování vibrací jednotlivých strojů v továrně, aby odhalili včasné známky potřebné údržby.

"Pokud vaše auto začne vydávat divný zvuk, víte, že je čas se na něj podívat," řekl Sheinin. "Teď si představte továrnu plnou strojů. Náš systém vám umožňuje sledovat zdraví každého z nich snímáním jejich vibrací pomocí jediné stacionární kamery."

Video Youtube:

https://www.youtube.com/watch?v=_pq0d1oxtA0