10 срамних питања о неуронским мрежама: Одговори стручњака за машинско учење Игор Котенков

У новом серије Чланци познатих стручњака одговарају на питања која је обично неугодно поставити: чини се да сви већ знају за то, а питалац ће изгледати глупо.

Овог пута разговарали смо са специјалистом за вештачку интелигенцију Игором Котенковим. Сазнаћете да ли можете да сачувате своју дигиталну копију за своје праунуке, зашто се неуронима не може веровати 100% и да ли је свету опасност од побуне машина.

1. Како функционишу неуронске мреже? То је нека магија. Како је уопште могао да се направи ЦхатГПТ? А Мидјоурнеи или ДАЛЛ-Е?

Неуронска мрежа је математички модел измишљен са циљем да се разуме како функционише мозак живог организма. Истина, за основу су узете најосновније идеје почетка друге половине 20. века, које се сада могу назвати небитним или сувише поједностављеним.

Чак и назив "неуронска мрежа" потиче од речи "неурон" - ово је назив једне од главних функционалних јединица мозга. Саме неуронске мреже се састоје од чворова - вештачких неурона. Дакле, можемо рећи да су многе идеје модерне архитектуре „провириле“ из саме природе.

Али што је још важније, неуронска мрежа је математички модел. А пошто је ово нешто што је везано за математику, онда можемо искористити пуну снагу математичког апарата да бисмо сазнали или проценили својства таквог модела. Неуронску мрежу можете сматрати функцијом, а функција је такође математички објекат. Најједноставнији и најразумљивији пример: функција која, рецимо, узима било који број као улаз и додаје му 2: ф (4) = 6, ф (10) = 12.

Али такву функцију је веома лако програмирати, чак и дете може да се носи са њом након пар сати учења језика. програмирање. А разлог је што се таква функција врло лако формализује, детаљно описује једноставним и разумљивим језиком.

Међутим, постоје неки задаци којима не знамо ни да приступимо. На пример, могу да вам дам фотографије помешаних мачака и паса, а ви их можете сортирати у две гомиле без проблема. Али чиме се тачно руководите приликом одређивања одговора? Обојица су пахуљаста. Обе врсте имају реп, уши, два ока. Можда величина? Али постоје врло мали пси, постоје велике мачке.

Не можемо описати многе задатке стварног света, не знамо зависност нашег посматрања и неког условно „тачног“ одговора.

Ми само знамо како да дамо овај одговор - и то је то, не размишљајући о томе како ће испасти.

Ту у помоћ прискачу неуронске мреже. Ове математичке функције су обучене из података. Не морате да описујете однос између улаза и излаза. Једноставно припремите две хрпе фотографија и модел се обучава да даје тачне одговоре. Она сама учи да пронађе ову везу, она је сама проналази, ослањајући се на грешкеко ради. Побркали сте бенгалску мачку и ротвајлера? Па биће боље следећи пут!

Процес учења неуронске мреже је такво прилагођавање „неурона” да би се научило како да реши проблем и да да тачан одговор. И што је најважније: постоји теоријски доказ да довољно велика неуронска мрежа са довољно великим скупом података може научити било коју сложену функцију. Али најважнија ствар овде је рачунарска снага (јер неурон може бити веома велик) и доступност означених података. Наиме, означени, односно имају класу „пас“, мачка или шта већ.

Не разумемо у потпуности како модели раде - најсложенији и велики модели воле ЦхатГПТ готово неанализибилан.

Најбољи истраживачи тренутно раде на изазову „разумевања“ унутрашњег функционисања њихових процеса.

Али знамо за који задатак су модели били обучени, коју грешку су покушали да минимизирају током тренинга. За ЦхатГПТ, задатак се састоји од два. Прво је предвиђање следеће речи према њеном контексту: „мама опрала...” Шта? То је оно што модел треба да предвиди.

Други задатак је осигурати да одговори не буду увредљиви, али да истовремено остану корисни и разумљиви. Зато је модел постао виралан – директно је обучен да генерише текст који се људима свиђа!

Можете прочитати више о томе како ЦхатГПТ функционише у мом чланак.

2. Могу ли неурони да мисле?

Научници још увек не разумеју шта значи „размишљати“ или „размишљати“ и како уопште функционише интелект. Стога је тешко проценити да ли модел као што је ЦхатГПТ има таква својства.

Замислимо ситуацију: прилазите вратима свог стана. Да ли мислите да треба да извадите кључ из левог џепа ранца да бисте отворили врата? Можемо ли рећи да је опис и приказ радњи мисаони процес? У суштини, успоставили смо однос између тренутног стања и жељеног циља (отворена врата). Ако мислите да је одговор на горње питање да, онда би мој одговор био исти. 🙂

Друга ствар је када су у питању иновативне мисли које раније нису биле изражене или нису толико честе. На крају крајева, на пример, лако можете пронаћи грешку у примеру изнад: „Да, прочитао сам овај модел 100500 пута на Интернету иу књиге. Наравно да она то зна! Ништа изненађујуће." Успут, како си знао? Да ли је то зато што су вам родитељи показали у детињству, а ви сте посматрали процес стотинама дана заредом?

У овом случају нема тачног одговора. А поента је овде да не узимамо у обзир једну важну компоненту: вероватноћу.

Колико је вероватно да ће модел генерисати мисао која одговара вашој специфичној дефиницији „мисли“?

На крају крајева, неурон као што је ЦхатГПТ може да се направи да генерише милион различитих одговора на исти захтев. На пример, „дођите до идеје за научна истраживања». Ако је једна генерација од милион заиста занимљива и нова, да ли се то рачуна као доказ да модел може да роди идеју? Али како ће се ово разликовати од папагаја који узвикује насумичне речи које не-не и дају нешто разумљиво?

С друге стране, људи такође не одају увек тачне мисли - неке фразе воде у ћорсокак и завршавају ничим. Зашто то не можемо опростити неуронским мрежама? Па, једна нова идеја од милион генерисаних је заиста лоша... Али шта ако 100 од милион? Хиљада? Где је ова граница?

Ово је оно што ми не знамо. Тренд је да у почетку мислимо да ће машинама бити тешко да реше проблем Кс. На пример, да прођете Тјурингов тест, где је потребно само да разговарате са особом пола сата. Затим, са развојем технологије, људи долазе до начина за решавање, тачније, обучавање модела за задатак. А ми кажемо: „Па, то је заправо био погрешан тест, ево вам новог, неурони сигурно неће моћи да га прођу!“ И ситуација се понавља.

Те технологије које су сада, пре 80 година, биле би схваћене као чудо. И сада се свим силама трудимо да померимо границу „разумности“ како не бисмо признали себи да машине већ знају да мисле. У ствари, чак је могуће да прво нешто измислимо, а затим пост фацтум и ретроспективно то дефинишемо као АИ.

3. Ако неурони могу да цртају и пишу поезију, онда могу бити креативни и скоро као људи?

Одговор се заправо у великој мери ослања на информације изнад. Шта је креативност? Колико креативности има просечна особа? Јесте ли сигурни да домар из Сибира зна да ствара? И зашто?

Шта ако модел може да произведе песму или слику која ће, условно, доспети у финале градског такмичења за писце аматере или дечје уметнике? А ако се то не деси сваки пут, већ један од сто?

Већина ових питања је дискутабилна. Ако вам се чини да је одговор очигледан, покушајте да интервјуишете своје пријатеље и рођаке. Са веома великом вероватноћом, њихова тачка гледишта се неће поклопити са вашим. А овде главна ствар није свађа.

4. Да ли је могуће веровати одговорима неуронских мрежа и више не гуглати?

Све зависи од тога како се модели користе. Ако им поставите питање без контекста, без пратећих информација у упиту и очекујете одговор о темама где је тачност чињеница битна, и не општи тон одговора (на пример, низ догађаја у одређеном периоду, али без тачног помињања места и датума), онда је одговор Не.

По домаћим процењено ОпенАИ, у таквим ситуацијама, најбољи модел до сада, ГПТ-4, одговара тачно у око 70-80% случајева, у зависности од теме питања.

Може изгледати да су ови бројеви веома далеко од идеалне 100% стварне "тачности". Али у ствари, ово је велики скок у односу на претходну генерацију модела (ЦхатГПТ, заснован на ГПТ-3.5 архитектури) - они су имали тачност од 40-50%. Испоставља се да је такав скок направљен у оквиру 6-8 месеци истраживања.

Јасно је да што се приближавамо 100%, то ће бити теже извршити неке корекције како се ништа не би „сломило“ у разумевању и познавању модела.

Међутим, све наведено се односи на питања без контекста. На пример, можете питати: „Када је било Еинстеин? Модел треба да се ослања само на интерно знање које је у њега „уклопљено” у фази дуготрајне обуке о подацима са целог интернета. Дакле, особа неће моћи да одговори! Али ако би ми дали страницу са Википедије, онда бих могао да је прочитам и одговорим према извору информација. Тада би тачност одговора била близу 100% (прилагођено за тачност извора).

Сходно томе, ако се моделу обезбеди контекст у коме су информације садржане, онда ће одговор бити много поузданији.

Али шта ако дозволимо моделу да прогугла и пронађе изворе информација на Интернету? Па да она сама пронађе извор и на основу њега изгради одговор? Па, ово је већ урађено! Дакле, не можете сами да гуглате, већ делегирајте део интернет претраге на сам ГПТ‑4. Међутим, за ово је потребна плаћена претплата.

Што се тиче даљег напретка у развоју поузданости чињеничних информација у оквиру модела, извршни директор ОпенАИ Сем Алтман даје процена од 1,5-2 године да реши овај проблем од стране тима истраживача. Веома ћемо се радовати! Али за сада, имајте на уму да не морате 100% да верујете ономе што записују неурони и проверите-поново проверите барем изворе.

5. Да ли је тачно да неуронске мреже краду цртеже правих уметника?

Да и не – обе стране у сукобу се о томе активно расправљају на судовима широм света. Може се са сигурношћу рећи да се слике не чувају директно у моделима, већ се појављује само „будност“.

У овом плану неурона веома налик људима који прво проучавају уметност, различите стилове, гледају радове аутора, а затим покушавају да имитирају.

Међутим, модели уче, као што смо већ сазнали, по принципу минимизације грешке. А ако током тренинга модел види исту (или веома сличну) слику стотине пута, онда је, са њене тачке гледишта, најбоља стратегија да запамти слику.

Узмимо пример: ваш наставник у уметничкој школи изабрао је веома чудну стратегију. Сваког дана цртате две слике: прва је увек јединствена, у новом стилу, а друга је Мона Лиза. После годину дана покушавате да процените оно што сте научили. Пошто сте Мона Лизу нацртали више од 300 пута, памтите скоро све детаље и сада можете да је репродукујете. Неће бити баш оригинал, а сигурно ћете додати нешто своје. Боје биће мало другачији.

А сада се од вас тражи да нацртате нешто што је било пре 100 дана (и што сте једном видели). Много мање тачно ћете репродуковати оно што је потребно. Само зато што рука није пуњена.

Иста ствар са неуронима: они уче на свим сликама на исти начин, само су неке чешће, што значи да се и модел чешће кажњава током тренинга. Ово се односи не само на слике уметника - на било коју слику (чак и оглашавање) у узорку обуке. Сада постоје методе за уклањање дупликата (јер је обука на њима у најмању руку неефикасна), али нису савршене. Истраживања показују да постоје слике које се јављају 400-500 пута током тренинга.

Моја пресуда: неуронске мреже не краду слике, већ једноставно узимају у обзир цртеже као примере. Што је пример популарнији, то га модел тачније репродукује.

Људи раде исто током тренинга: гледају лепоту, проучавају детаље, различите стилове уметници. Али за уметнике или фотографе који су провели пола живота учећи занат, гледиште је често радикално другачије од горе описаног.

6. Да ли је тачно да је „све изгубљено“ и да ће неуронске мреже људима одузети посао? Кога је највише брига?

Важно је одвојити само „неуронске мреже“ које обављају одређене задатке од неуронских мрежа опште намене као што је ЦхатГПТ. Ови други су веома добри у праћењу инструкција и способни су да уче из примера у контексту. Истина, сада је величина њихове „меморије“ ограничена на 10-50 страница текста, као и вештине рефлексије и планирање.

Али ако се нечији посао своди на рутинско извршавање упутстава и то је лако научити за неколико дана читајући чланке (или ако цео Интернет је испуњен овим информацијама), а цена рада је изнад просека - онда ускоро такав посао аутоматизовати.

Али сама по себи аутоматизација не значи потпуну замену људи. Само део рутинског рада се може оптимизовати.

Особа ће почети да добија интересантније и креативније задатке са којима машина (до сада) не може да се носи.

Ако дамо примере, онда у групу променљивих или заменљивих професије Укључио бих, рецимо, пореске помоћнике-консултанте који помажу у припреми декларације и провере типичних грешака, утврђивању недоследности. Промене су могуће у таквој специјалности као менаџер података клиничког испитивања - суштина рада је у попуњавању извештаја и њиховом усклађивању са табелом стандарда.

Али кувар или возач аутобуса ће бити тражени много дуже само зато што могу да повежу неуронске мреже и реал физички свет је прилично компликован, посебно у погледу закона и прописа - захваљујући бирократама што су се одселиле Црисис АИ!

Очекују се велике промене у индустријама везаним за штампане материјале и текстуалне информације: новинарство, образовање. Са врло великом вероватноћом за прво, неурони ће врло брзо писати нацрте са скупом теза, у којима ће људи већ правити тачке измене.

Највише ме радују промене у области образовања. Једи истраживања, који показују да квалитет образовања директно зависи од „личности“ приступа и колико времена наставник посвећује одређеном ученику. Најједноставнији пример: настава у групама од 30 људи по уџбенику је много гора од индивидуалне тутор за специфичне потребе (додуше по истом програму као у уџбенику). Са развојем АИ, човечанство ће имати прилику да сваком ученику обезбеди персонализованог асистента. Просто је невероватно! Улога наставника ће се, како ја видим, пребацити на стратешку и контролну: одређивање општег програма и редоследа учења, провера знања и тако даље.

7. Да ли је могуће учитати своју свест у компјутер, направити дигиталног близанца и живети заувек?

У смислу у ком се то замишља на основу научне фантастике, бр. Можете само научити модела да имитира ваш стил комуникације, научи ваше шале. Можда ће модели нивоа ГПТ-4 чак моћи да измисле нове уоквирене у вашем јединственом стилу и начину презентације, али то очигледно не значи потпуни пренос свести.

Ми као човечанство, опет, не знамо шта је свест, где је похрањена, по чему се разликује од других, шта чини мене – мене, а тебе – тебе. Ако се одједном покаже да је све ово само скуп сећања и искустава, помножених индивидуалним карактеристикама перцепције, онда ће, највероватније, бити могуће некако пренети знање у неуронске мреже тако да оне симулирају будући живот на њихову основу.

8. Да ли је опасно учитавати свој глас, изглед, стил говора у неуронској мрежи? Чини се да такав дигитални идентитет може бити украден.

Не можете буквално ништа да преузмете у њих. Можете их тренирати (или их поново обучавати) на такав начин да резултати више личе на ваш изглед, глас или текст. И тако обучени модел заиста може бити украден, односно једноставно копирати скрипту и скуп параметара за покретање на другом рачунару.

Можете чак и да генеришете видео са захтевом трансфер новца о туђем трошку, у који ће ваш рођак поверовати: најбољи деепфаке и алгоритми за клонирање гласа су већ достигли овај ниво. Истина, потребне су хиљаде долара и десетине сати снимања, али ипак.

Генерално, са развојем технологије, питање идентификације и потврђивања идентитета постаје све важније.

И покушавају да то реше на овај или онај начин. На пример, постоји стартап ВорлдЦоин (у ствари, он прави криптовалуту), у који је уложио шеф ОпенАИ, Сем Алтман. Значење покретања је да ће сваки податак о особи бити потписан сопственим кључем за накнадну идентификацију. Исто ће важити и за масовне медије, како би се сигурно знало да ли је ова вест истинита или лажна.

Али, нажалост, док је све ово у фази прототипова. И не сматрам да ће дубоко увођење система у све индустрије бити имплементирано на хоризонту следеће деценије, једноставно зато што је превише компликовано и обимно.

9. Могу ли неурони почети да наносе штету и да завладају светом?

Опасност није актуелна дешавања, већ оно што ће их пратити даљим развојем. Тренутно нису измишљене методе за контролу рада неуронских мрежа. Узмите, на пример, врло једноставан задатак: да се уверите да модел не псује. Никад више. Не постоји метод који ће вам омогућити да се придржавате таквог правила. До сада, можете пронаћи различите начине како да га свеједно „одгајате“.

Сада замислите да говоримо о ГПТ-8 условно, чије ће вештине бити упоредиве са вештинама најспособнијих и најпаметнијих људи. Неуронска мрежа може програмирати, користити интернет, зна психологије и разуме како људи мисле. Ако му дате слободу и не поставите одређени задатак, шта ће онда учинити? Шта ако открије да се не може контролисати?

Вероватноћа лошег развоја догађаја, према проценама, није тако велика. Иначе, не постоји општеприхваћена оцена – иако се сви свађају око детаља, о штетним последицама и тако даље. Сада називају приближне цифре од 0,01% до 10%.

По мом мишљењу, то су огромни ризици, под претпоставком да је најнегативнији сценарио уништење човечанства.

Занимљиво је да су ЦхатГПТ и ГПТ-4 производи које су креирали тимови који раде на проблемима „усклађивања“ намера људи и неурона (детаљи се могу наћи овде). Зато модели тако добро слушају упутства, покушавају да не буду груби, постављају појашњавајућа питања, али ово је још увек веома далеко од идеалног. Проблем контроле није ни напола решен. И док не знамо да ли се то уопште решава, и ако јесте, којим методама. Ово је најтоплија тема истраживања за данас.

10. Може ли се неуронска мрежа заљубити у особу?

Са актуелним приступима и архитектурама неурона, бр. Они само генеришу текст који је највероватнији као наставак улазног текста. Ако убаците прво поглавље љубавне приче, преправљајући га под своју личност, и замолите модел да одговори на ваше љубавно писмо, она ће се носити са тим. Али не зато што сам се заљубио, већ зато што се најтачније уклапа у контекст и захтев „напиши ми писмо!“. Запамтите да модели уче да генеришу текст који прати упутства.

Штавише, неуронске мреже у основној верзији немају меморија - између два различита лансирања, забораве све и враћају се на "фабричка подешавања". Меморија се може додати вештачки, као са стране, тако да се, рецимо, 10 страница најрелевантнијих „сећања“ унесе у модел. Али онда се испостави да једноставно уносимо скуп догађаја у оригинални модел и кажемо: „Како бисте се понашали у таквим условима?“ Модел нема никаква осећања.