Věda má problém s umělou inteligencí: Výzkumná skupina tvrdí, že to dokážou opravit
Umělá inteligence má potenciál pomoci lékařům najít včasné příznaky onemocnění a tvůrcům politik, aby se vyhnuli rozhodnutím, která vedou k válce. Rostoucí množství důkazů však odhalilo hluboké nedostatky v tom, jak se strojové učení používá ve vědě, což je problém, který se prohnal desítkami oborů a zahrnoval tisíce chybných dokumentů.
Nyní interdisciplinární tým 19 výzkumníků vedený počítačovými vědci z Princetonské univerzity Arvindem Narayananem a Sayashem Kapoorem zveřejnil pokyny pro zodpovědné využití strojového učení ve vědě .
"Když přejdeme z tradičních statistických metod na metody strojového učení, existuje mnohem více způsobů, jak se střelit do nohy," řekl Narayanan, ředitel Princetonského centra pro politiku informačních technologií a profesor informatiky.
"Pokud nebudeme mít zásah ke zlepšení našich vědeckých standardů a standardů podávání zpráv, pokud jde o vědu založenou na strojovém učení, riskujeme, že nejen jedna disciplína, ale mnoho různých vědeckých disciplín znovu objeví tyto krize jednu po druhé.
Autoři tvrdí, že jejich práce je snahou vymýtit tuto doutnající krizi důvěryhodnosti, která hrozí, že pohltí téměř každý kout výzkumného podniku. Dokument s podrobnostmi o jejich směrnicích vychází 1. května v časopise Science Advances .
Vzhledem k tomu, že strojové učení bylo přijato prakticky ve všech vědeckých disciplínách, bez univerzálních standardů zajišťujících integritu těchto metod, Narayanan řekl, že současná krize, kterou nazývá krizí reprodukovatelnosti, by se mohla stát mnohem závažnější než krize replikace, která se objevila v sociální psychologii před více než deseti lety.
Dobrou zprávou je, že jednoduchá sada osvědčených postupů může podle autorů, kteří pocházejí z informatiky, matematiky, sociálních věd a výzkumu zdraví, pomoci vyřešit tuto novější krizi dříve, než se vymkne kontrole.
"Jde o systematický problém se systematickými řešeními," řekl Kapoor, postgraduální student, který pracuje s Narayananem, a který zorganizoval úsilí o vytvoření nového kontrolního seznamu založeného na konsensu.
Kontrolní seznam se zaměřuje na zajištění integrity výzkumu, který využívá strojové učení. Věda závisí na schopnosti nezávisle reprodukovat výsledky a ověřovat tvrzení. V opačném případě nelze nové dílo spolehlivě postavit na staré dílo a celý podnik se zhroutí.
Zatímco jiní výzkumníci vyvinuli kontrolní seznamy, které se vztahují na problémy specifické pro obor, zejména v medicíně, nové pokyny začínají základními metodami a aplikují je na jakoukoli kvantitativní disciplínu.
Jedním z hlavních přínosů je transparentnost. Kontrolní seznam vyzývá výzkumníky, aby poskytli podrobné popisy každého modelu strojového učení, včetně kódu, dat použitých k trénování a testování modelu, hardwarových specifikací použitých k produkci výsledků, experimentálního návrhu, cílů projektu a případných omezení.
Podle autorů jsou standardy dostatečně flexibilní, aby vyhovovaly široké škále nuancí, včetně soukromých datových sad a komplexních hardwarových konfigurací.
Zatímco zvýšená přísnost těchto nových standardů může zpomalit publikaci dané studie, autoři se domnívají, že široké přijetí těchto standardů by zvýšilo celkovou míru objevů a inovací, potenciálně o hodně.
"To, na čem nám nakonec záleží, je tempo vědeckého pokroku," řekla socioložka Emily Cantrell, jedna z hlavních autorek, která pokračuje ve svém Ph.D. v Princetonu.
"Tím, že se ujistíte, že články, které jsou publikovány, jsou vysoce kvalitní a že jsou pevným základem pro budoucí články, na kterých se dá stavět, což potenciálně zrychlí tempo vědeckého pokroku. Zaměření na samotný vědecký pokrok a ne jen na vydávání článků skutečně tam, kde bychom měli klást důraz."
Kapoor souhlasil. Chyby bolí. "Na kolektivní úrovni je to jen velká ztráta času," řekl. Ten čas stojí peníze. A tyto peníze, jakmile se promrhají, mohou mít katastrofální následky, omezí druhy vědy, které přitahují financování a investice, podkopávají podniky, které jsou neúmyslně postaveny na chybné vědě, a odradí bezpočet mladých výzkumníků.
Při práci na konsensu o tom, co by mělo být zahrnuto do pokynů, autoři uvedli, že se snažili dosáhnout rovnováhy: dostatečně jednoduché, aby byly široce přijaty, dostatečně komplexní, aby zachytily co nejvíce běžných chyb.
Říkají, že výzkumníci by mohli přijmout standardy, aby zlepšili svou vlastní práci; hodnotitelé by mohli použít kontrolní seznam k hodnocení prací; a časopisy by mohly normy přijmout jako požadavek na zveřejnění.
"Vědecká literatura, zejména ve výzkumu aplikovaného strojového učení, je plná chyb, kterým se lze vyhnout," řekl Narayanan. "A my chceme pomáhat lidem. Chceme, aby poctiví lidé byli čestní."
