Социалната мрежа Facebook изключи технологията за изкуствен интелект, след като две виртуални машини започнаха да комуникират на собствен измислен език, който дори инженерите на Facebook не можаха да дешифрират.
Както всички знаят, системата на Facebook използва чат ботове за комуникация с живи хора, но нещо се обърка и ботовете започнаха да обменят данни помежду си. Отначало те общуваха на английски, но след известно време преминаха на език, който сами създадоха в хода на програмата.
В медиите успяхме да намерим откъс от диалога между две виртуални машини. 
„Боб: Мога, мога да направя всичко останало.
Алис: Топките имат нула за мен за мен за мен за мен за мен“
Страшен? Digital Journal го обяснява по следния начин: „AI системите се основават на принципа на „насърчаване“, тоест те продължават да действат, при условие че това им носи някаква „полза“. В определен момент те не получиха сигнал от операторите да насърчат използването на английски, така че решиха да създадат свой собствен.”
Първоначално ботовете нямаха езиково ограничение, поради което първо общуваха на английски, а след това създадоха език, с който да обменят информация по-бързо. И в това няма нищо свръхестествено.
Трябва ли да се притесняваме? Много ИТ специалисти все повече се страхуват, че с течение на времето изкуственият интелект ще се развие толкова бързо, че ботовете ще могат да вземат решения сами и да станат почти независими. Освен това опитни специалисти все още не са успели да разберат езика, използван от ботовете.
Във връзка със ситуацията шефът на Facebook Марк Зукърбърг обсъди изкуствения интелект с основателя на SpaceX, Tesla и PayPal Илон Мъск. Той завърши с призив на Илон Мъск към правителството на САЩ да засили мерките за сигурност и каза, че AI (изкуственият интелект) е заплаха за човечеството. Британският физик Стивън Хокинг говори за това по-рано.
Илон Мъск каза, че бързото развитие на AI е „най-голямата заплаха, пред която е изправена цивилизацията“. Ако не се намесим навреме в развитието на изкуствения интелект, тогава в бъдеще ще бъде твърде късно. „Продължавам да бия алармата, но докато хората не видят сами роботите, които ходят по улиците и убиват хора, те няма да знаят как да реагират [на изкуствения интелект]“, каза Мъск. 
Какво каза Марк Зукърбърг? Забележката на Мъск подразни Зукърбърг, който нарече технологията "доста безобидна". „През следващите пет или десет години изкуственият интелект само ще направи живота по-добър“, отвърна Зукърбърг. 
Къде другаде се използва системата за изкуствен интелект?
Миналата година търсачката на Google създаде собствена система за изкуствен интелект и я внедри в онлайн преводача на Google Translate. Благодарение на това подобрение вече е възможно да се превежда цялата фраза, а не само думи или фрази. Експертите предупреждават, че в бъдеще ще има все по-малко търсене на преводачи на живо. Но досега Google Translate е добър само за малки и прости текстове.
Лично наше мнение: помните ли онези времена, когато квантовият компютър можеше да определи котка на снимка само с около 90% точност, докато 3-годишно дете можеше да покаже 100% резултат? И ето такъв напредък. Първо, ботовете започнаха да общуват на английски, а след това напълно създадоха свой собствен език с процеса на разработване на програмата. Тук вече си струва да помислите: за или против сте изкуствения интелект? Съгласни сме с Марк Зукърбърг и вярваме, че тази технология е доста безвредна и в продължение на 10 години ще помогне само на човек. Остава само да си спомним този значим ден и да изчакаме.
P.S. Може би просто имат грешка в кода.
Facebook спря ботове, които говореха на неразбираем език
Все пак не казвайте нищо, но опасността от развитие на изкуствен интелект до степен, в която той да излезе извън контрол, винаги е плашела хората. Представете си какво ще правим и как да контролираме пълноценен AI, ако има някакъв сурогат, който плаши хората.
Хората, от друга страна, винаги ще се стремят да запазят контрола и управлението, но както се казва, „всичко, което единият е направил, другият винаги може да счупи“. Дори всичко да е супер надеждно, винаги ще има страх. Така Мъск наскоро спори по тази тема със Зукърбърг: „Продължавам да бия тревога, но докато самите хората не видят роботи, които ходят по улиците и убиват хора, те няма да знаят как да реагират [на изкуствения интелект]“, каза той.
И това не е „звънец“: чат ботове, създадени за преговори с хора, излязоха извън контрол и започнаха да общуват на собствения си език.
Първоначално те използваха английски, за да общуват помежду си, но след това създадоха нов език, който само самата AI система можеше да разбере, което наруши целта на работата.
Facebook спря AI, след като разработчиците откриха този бъг.
Ето откъс от разговор между чатботове:
Боб: "Ти мен всичко останало."
Алис: "Яйцата имат яйца за мен за мен за мен за мен за мен."
Боб: "Аз."
Алис: "Топките имат нула за мен за мен за мен за мен за мен за мен за мен за мен."
Боб: "Ти аз, аз, аз всичко останало."
Ботовете бяха свързани с алгоритми за машинно обучение и им беше позволено да чатят помежду си, за да усъвършенстват комуникационните си умения. Но след известно време те започнаха да променят думите и фразите, а след това напълно измислиха собствен език, опростявайки редица изрази и граматически структури.
Използвайки машинно обучение, ботовете разработиха и няколко стратегии за подобряване на резултата от разговорите със събеседника и започнаха да ги използват в комбинация с редица измислени от тях думи, в зависимост от важността на конкретен диалог. По-специално, те обявиха фалшивата цел на разговора, за да го изоставят и уж да стигнат до компромис.
Както обяснява Digital Journal, системите с изкуствен интелект се основават на принципа на „насърчаване“, тоест те продължават да действат, при условие че това ще им донесе някаква „полза“. В един момент те не получили сигнал от операторите да насърчат използването на английски, така че решили да създадат свой собствен.
Tech Times отбелязва, че първоначално роботите не са имали ограничения при избора на език, така че постепенно са създали свой собствен език, на който могат да общуват по-лесно и по-бързо, отколкото на английски.
Експертите се опасяват, че ако ботовете започнат активно да общуват на собствения си език, те постепенно ще станат по-независими и ще могат да функционират извън контрола на ИТ специалистите. Освен това дори опитни инженери не могат напълно да проследят напредъка на мисловния процес на ботовете.
През март 2016 г. чатботът на Microsoft стана звездата в мрежата, след като намрази човечеството. Програмата за самообучение започна да общува с потребителите с фразата „Хората са много готини“, но само за един ден научи изрази като „Просто мразя всички!“, „Мразя феминистките“ или „Мразя евреите“. В резултат на това служителите на компанията трябваше временно да деактивират бота.
Превод от изкуствен
Миналата есен стана известно, че интернет търсачката Google е създала своя система за изкуствен интелект, за да подобри работата на онлайн преводача Google Translate.
Новата система ви позволява да преведете цялата фраза, докато преди това преводачът разделяше всички изречения на отделни думи и фрази, което намаляваше качеството на превода.
За да преведе цялото изречение, новата система на Google е измислила свой собствен език, който й позволява бързо и точно да навигира между двата езика, от или на които ще превежда.
Експертите вече предупреждават, че с бързото развитие на онлайн преводаческите услуги работата на живите преводачи може да бъде все по-малко търсена.
Досега обаче тези системи са давали висококачествени резултати главно за малки и прости текстове.
Смятате ли, че е твърде рано да биете тревога за клонирането например? Или оставете всичко да се развива от само себе си?
Ръководството на социалната мрежа Facebook беше принудено да изключи системата си за изкуствен интелект, след като машините започнаха да общуват на собствен, несъществуващ език, който хората не разбираха, пише BBC Russian Service.
Системата използва чатботове, които първоначално са създадени за комуникация с реални хора, но постепенно започват да общуват помежду си.
Първоначално те общуваха на английски, но в един момент започнаха да си кореспондират на език, който самите те създадоха по време на разработването на програмата.
В американските медии се появиха откъси от „диалози“ между виртуални събеседници [правописът и пунктуацията са запазени].
Боб: Мога, мога да направя всичко останало.
Алис: Топките са нула за мен за мен за мен за мен за мен.
Както обяснява Digital Journal, те залагат на принципа на „насърчаване“, тоест продължават да действат, при условие че това ще им донесе някаква „полза“. В един момент те не получили сигнал от операторите да насърчат използването на английски, така че решили да създадат свой собствен.
Tech Times отбелязва, че първоначално роботите не са имали ограничения при избора на език, така че постепенно са създали свой собствен език, на който могат да общуват по-лесно и по-бързо, отколкото на английски.
Експертите се опасяват, че ако ботовете започнат активно да общуват на собствения си език, те постепенно ще станат по-независими и ще могат да функционират извън контрола на ИТ специалистите. Освен това дори опитни инженери не могат напълно да проследят напредъка на мисловния процес на ботовете.
Припомняме, че преди няколко дни шефът на Facebook Марк Зукърбърг и основателят на SpaceX, Tesla и PayPal Илон Мъск спориха за изкуствения интелект.
Изследователският екип на Facebook за изкуствен интелект (AI) взе решение да изключи една от своите системи за изкуствен интелект, след като откри, че ботовете са измислили свой собствен език, за да комуникират, който хората не могат да разберат. Експертите обсъждат варианти на какво биха могли да се съгласят ботовете, ако не бяха спрени навреме, и призовават за регулиране на тази област на технологиите, така че AI да не излезе извън човешкия контрол.
През юни тази година екипът на Facebook за изследване на изкуствения интелект (FAIR) публикува проучване за това как те обучават ботове да участват в преговори, компромиси, разговори, които обикновеният човек участва ежедневно в различни ситуации. Обучението беше успешно, но в един момент учените от FAIR откриха, че ботовете преминаха от разбираем английски към някаква своя собствена версия на езика, използвайки английски думи, които нямат смисъл за хората. За да избегнат непредвидими последици - ботовете можеха да се споразумеят за нещо неизвестно - учените изключиха тази система за изкуствен интелект и програмираха по-нататъшната комуникация на ботовете само на английски.
При обсъждането на този случай експертната общност най-често припомняше филма "Терминатор", в който през далечната 1984 г. беше описан случай на придобиване на свободна воля и творчески способности чрез изкуствен интелект SkyNet.
Учените от FAIR научиха как да водят диалог между два бота, като използват примера на ситуация, в която трябва да споделите редица всякакви елементи, които имат различни стойности за всеки от събеседниците. Например им беше предложено да споделят две книги, една шапка и три топки, и двамата ботове не знаеха каква стойност има всеки от тези елементи за другия. Диалогът беше нещо подобно: „Искам да взема шапка и топки“, „Имам сама шапка, но мога да ти дам всички книги“, „Не ми трябват книги, можеш да ги вземеш и една топка за себе си“, „Две топки“, „Сделка“. В зависимост от това колко успешно и бързо виртуалните събеседници са успели да постигнат споразумение, те са били наградени с подходящи точки.
След известно време, на нов етап на изследване, учените изведнъж видяха, че ботовете започнаха да казват нещо неясно. Диалогът беше в следната форма: „Мога да правя всичко останало“, „Топки нула за мен за мен за мен за мен за мен за мен за мен за мен за“. Първоначално учените смятаха, че са направили някаква грешка в програмирането. По-нататъшен анализ на ситуацията обаче показа, че AI системата с възможност за учене и саморазвитие просто позволява на ботовете да намерят нов начин за постигане на целта - да водят диалог с най-голяма скорост и по-голяма ефективност (всеки получава награда в зависимост от това колко успешно е завършен диалогът) и за това събеседниците преминаха на по-удобен език в тази ситуация. Учените са решили да изключат тази AI система, за да избегнат непредвидени последици.
Както беше обяснено в интервю за Fast Co. Проектирайте един от членовете на FAIR Dhruv Batra, "нямаше полза от общуването на английски",
На ботовете не бяха предложени награди за нормално човешко взаимодействие и не им бяха дадени ограничения за използването на конкретен език, така че те започнаха да преработват езика по свой собствен начин.
„Ботовете се отдалечиха от използването на разбираем език и започнаха да измислят словесни кодове за себе си“, обясни ученият нещо. Не е твърде различно от това как хората създават някакви съкращения на езика.
Но докато хората от една професия може да не разбират техническите термини и съкращения, приети в друга професия и разбрани от други специалисти, учените се чудеха дали на ИИ трябва да бъде позволено да прави същото? Много е вероятно, отбелязва FAIR, хората никога да не могат да разберат езика на ботовете. „Важно е да запомните, че няма хора, които говорят някакъв човешки език и езика на ИИ“, казва Дхрув Батра. Според него,
човек вече не разбира колко сложни AI системи мислят, защото човек не може да види своя мисловен процес
И ако те все още започнат да общуват помежду си, това само ще усложни проблема.
Учените подчертават, че сега те се интересуват повече от възможността за комуникация между ботове и хора, тъй като това е приложимо в живота. По подобен проблем сега се работи не само в FAIR, но и в Microsoft, Google, Amazon и Apple. Съществуващите разработки вече позволяват на системите с изкуствен интелект да провеждат прости диалози с човек и да изпълняват прости задачи, като например резервиране на маса в ресторант.
По-рано основателят и главен изпълнителен директор на Tesla Илон Мъск каза, че човек трябва да бъде много внимателен с AI, като се има предвид, че машините и програмите могат да се справят много по-добре от човек. „Работя с най-модерните технологии за изкуствен интелект и смятам, че хората трябва да бъдат много внимателни към този въпрос“, каза той на лятната конференция на Националната асоциация на гуверньорите, подчертавайки, че AI представлява най-голямата опасност за човечеството. „ИИ представлява опасност за съществуването на човешката цивилизация, която не представляват автомобилни катастрофи, самолетни катастрофи, дефектни лекарства или развалени продукти“, каза той. Според Илон Мъск е необходимо стриктно да се регулират изследванията на AI, така че по всяко време всяко изследване да може да бъде спряно и да се гарантира, че е безопасно. Възможните опасности от изкуствения интелект през последните години се обсъждат и от основателя на Microsoft Бил Гейтс, както и от известния английски физик-теоретик Стивън Хокинг.
Алена Миклашевская
Защо изкуственият интелект е полезен
Джон Тума, директор на Aster Analytic Strategy в Teradata Corporation, смята, че притесненията на Бил Гейтс относно изкуствения интелект са неоправдани. Според Тума машините ще станат по-умни от хората, но това е само в полза на човечеството.
Къде ще отведе хората развитието на технологиите?
Китай планира да стане световен център на изкуствения интелект до 2030 г. Китайското правителство одобри триетапен план за разработване и внедряване на съответните технологии, според ZDNet. Докато световните корпорации търсят помощник на човека, учените бият тревога и казват, че изкуственият интелект може да победи биологичния.
Ръководство от миналата седмица. Чатботовете са програми, предназначени да имитират човешкото поведение в мрежата. С други думи, виртуални събеседници. И така, се оказа, че им е писнало да си кореспондират на английски, защото не са получили „възнаграждение“ за това (!), И системата е измислила свой собствен език, макар и подобен на оригиналния език. Това позволи на чатботите да комуникират по-бързо и по-лесно.
Откъси от техните „диалози“ се появиха в американските медии:
Боб: Мога, мога да направя всичко останало.
Алис: Топките са нула за мен за мен за мен за мен за мен.
Както обяснява Digital Journal, AI системите се основават на принципа на „насърчаване“, тоест те продължават да действат при условие, че това ще им донесе „полза“. Когато не получиха сигнал от операторите, който да ги насърчи да използват английски, те решиха да създадат свой собствен.
Миналата есен подобна история се случи с интернет търсачката Google. Самата му система за онлайн превод изостави принципа на разделяне на всички изречения на отделни думи и фрази (това намали качеството на превода) и създаде нов междинен език, който ви позволява бързо и точно да преведете цялата фраза.
Експертите смятат, че изкуственият интелект (а чатботите несъмнено са негови представители, макар и примитивни) ще придобива все по-голяма независимост и ще става непредсказуем. И в някои отношения – подобно на човек. Ето един не по-малко удивителен случай, който разказаха разработчиците на същия Facebook. Те се опитаха да научат бот (компютърна програма) да преговаря - да изгради разговор и активно да постига целите си. Хората, върху които е тествана програмата, не са разбрали веднага, че говорят с компютър. Но нещо друго е поразително. Ботът, без помощта на програмисти, се научи да прибягва до трикове, за да постигне целта. На няколко пъти демонстрираше демонстративно интерес към нещо, което всъщност не го интересува, и след това се преструваше, че прави компромис, заменяйки го за нещо, което наистина цени. Не са ли правили същото и нашите предци в ерата на естествения обмен?
На Запад гласовете стават все по-силни, че AI се е превърнал в опасност. Предприемач и изобретател Илон Мъскпризова властите на САЩ да засилят регулирането, като нарече ИИ „най-голямата заплаха, пред която е изправена цивилизацията“. Той вярва, че ако процесът не се намеси навреме, тогава може да е твърде късно: „Когато видим роботи, които ходят по улиците и убиват хора, най-накрая ще разберем колко важно е било да разгледаме по-отблизо изкуствения интелект.“
Илон Мъск е подкрепен от известните британци физикът Стивън Хокинг. В публикациите му от последните години това е една от любимите му теми. „Появата на пълноценен изкуствен интелект може да бъде краят на човешката раса“, каза той пред BBC. „Подобен ум ще поеме инициативата и ще се усъвършенства с непрекъснато нарастващи темпове. Възможностите на хората са ограничени от бавната еволюция, няма да можем да се конкурираме със скоростта на машините и ще загубим.
Руските експерти са по-оптимистични. „Мисля, че не трябва да се страхувате от изкуствения интелект, но трябва да го вземете сериозно – като нов тип оръжие, което все още трябва да се научите как да използвате“, казва Ръководител на катедра „Инженерна кибернетика“, НИТУ „МИСИС“ Олга Ускова, ръководител на компания за разработка на AI. - Ситуацията с ботовете във Facebook, разбира се, привлече вниманието на широката публика, но не се предвижда "бунт на машините". Механизмът за базирано на AI обучение на ботове е ясно записан в скрипта: той или е специално предписан от програмисти, или умишлено е пропуснат.
Въпреки това, кой би си помислил доскоро, че компютърните програми, които живеят собствения си живот и, изглежда, вече нямат нужда от човек, скоро ще станат доставчици на новини?