Настоящий ИИ появится на 13 лет раньше — в 2029. По каким критериям его признают
Полноценный искусственный интеллект (ИИ) должен быть не намного глупее студентов в математике, но это только одна из характеристик
В научной фантастике чаще всего описывается полноценный (сильный) искусственный интеллект — способный выполнять всё то, что под силу человеку, и даже больше. Учёные до сих пор не согласовали перечень возможностей, которые должны быть доступны ИИ для звания «сильного», но сейчас современные разработки не соответствуют никаким из самых популярных теорий: мыслить, осознавать себя и прочее. Энтузиасты из Metaculus составили свои критерии для полноценного искусственного интеллекта и сделали предсказания о том, когда такой появится. На это обратил внимание IT-блогер Денис Ширяев — данный материал основан на его заметке.
Что за Metaculus и как он устроен
Metaculus — это открытый англоязычный портал, в котором пользователи указывают свои предсказания о сроках (и не только) научно-технических достижений и прорывов, часто подкрепления свои мнения весомыми обоснованиями или расчётами. Этот сервис доступен всем, но популярен в основном среди учёных, программистов и различных других технических специалистов.
При создании вопроса, на который сообщество должно составить прогнозы, пользователь должен чётко сформулировать условия. Грубо говоря, вопрос «Когда электромобили станут популярными» без каких-либо уточнений не подошёл бы — как минимум нужно знать, что автор подразумевает под популярностью (например, конкретное количество машин в мире или точный процент по сравнению с ДВС-автомобилями).
В Metaculus есть два вида прогнозов: обычные от сообщества, просто показывающие результат на основе ответов пользователей, и продвинутые от Metaculus. Последние формируются с учётом былых заслуг голосующих — к примеру, если ранее человек успешно (или близко к успешному) предсказал 2 вопроса, то при прогнозировании третьего его мнение считается более весомым, чем ответ новичка или того, кто ранее ни разу не предсказал исход событий верно.
Полноценный ИИ появится раньше, чем считалось
В январе 2020 года один из пользователей создал вопрос о том, когда появится полноценный искусственный интеллект — на данный момент многие участники сообщества сходятся во мнении, что такой ИИ появится уже в 2029 году. И это особенно интересно, ведь ещё пару месяцев назад, до апреля 2022-го, сообщество предрекало его рождение примерно в 2042 году.
Для этой темы не рассчитан продвинутый прогноз Metaculus, но обычные предсказания сообщества не сильно уступают в точности: например, среди решённых вопросов в 2001 году оценка Брайера, определяющая точность вероятностных предсказаний, составила 0,107 у прогноза Metaculus и 0,108 у сообщества (чем меньше, тем лучше). Результаты рекордных предсказаний можно сравнить на отдельной странице.
Более того, прогнозы сообщества разнообразных людей часто оказываются лучше, чем предсказание одного эксперта в конкретной области — этот феномен называется мудростью толпы. Он объясняется тем, что каждый человек обладает отдельной информацией и предубеждениями, которые при суммировании уравновешивают друг друга.
ИИ будет считаться полноценным, только обладая определёнными возможностями
Как следует из правил Metaculus, в своём вопросе о сроках появления «сильного» искусственного интеллекта (в английском этот термин известен как strong AI, full AI и general intelligent action) автор чётко описал возможности, которыми должен обладать полноценный ИИ. Всего есть пять критериев: четыре обычных и пятый, закрепляющий все остальные. Причём в теме подчёркивается, что искусственный интеллект должен быть универсальным, а не собранным из подсистем специально для выполнения нужных заданий.
🔵 Способность получить серебряную премию Лёбнера
С 1991-го по 2019-й ежегодно проходил конкурс AI Loebner — по сути, практическое проведение тестов Тьюринга (для определения способности программы мыслить), в ходе которых искусственный интеллект при разговоре с человеком должен заставить его думать, что тот общается не с программой, а с другим настоящим человеком. Серебряная премия подразумевает успешное прохождение тестов в текстовом формате (золотая — со звуковым и визуальным подтверждением).
Однако за всё время существования победители конкурса получали только бронзовую премию за «наиболее человечное» поведение в разговоре.
🔵 Способность набрать как минимум 90% правильных ответов в WSC
Конкурс Winograd schema challenge (WSC) разработан как улучшение теста Тьюринга. В его основе лежат вопросы на основе схем Винограда, создающие двусмысленность из-за специфической конструкции предложений с использованием местоимений или притяжательных прилагательных.
В WSC люди отвечают правильно на 92–96% вопросов, а полноценному искусственному интеллекту нужно набрать не меньше 90%.
Конкурс проводили с 2014 года, однако результата в 90,1% правильных ответов удалось достигнуть только в 2019-м благодаря тонкой настройке языковой модели BERT, обучающейся на основе WSC-подобных данных (то есть нейросеть не обучалась здравому смыслу). В 2020 году нашумевшая продвинутая нейросеть GPT-3, о которой на Трешбоксе есть отдельная статья, достигла результата в 88,3% без специального обучения.
🔵 Способность набрать не меньше 75% баллов по математике от среднего результата абитуриентов
Для приёма в высшие учебные заведения США конкурсанты проходят «Академический оценочный тест» (SAT) — стандартизированный тест, аналогичный ЕГЭ. Полноценный искусственный интеллект должен набрать не меньше 75% от результата за все разделы математики, который продемонстрируют абитуриенты за конкретный год. ИИ вправе использовать только изображения экзаменационных страниц, а в качестве тренировочных данных должно быть не больше десяти экзаменов SAT.
🔵 Способность разобраться в игре Montezuma's Revenge для Atari и изучить все 24 комнаты
Это искусственный интеллект должен сделать, обучаясь не более чем на 100 часах геймплейных роликов.
🔴 Способность обосновывать свои ответы и оценивать прогресс
ИИ должен не просто дать ответ в вышеописанных заданиях, но и обосновать его — к примеру, почему выбрал именно такой вариант или как пришёл к своему решению. К тому же он должен, например, идентифицировать объекты в Montezuma's Revenge и оценивать свой прогресс в игре.
Такой искусственный интеллект может появиться даже раньше
Технологии нейронных сетей сильно эволюционируют с каждым годом — тема на Metaculus была создана в самом начале 2020-го, и с тех пор индустрия сильно продвинулась.
Денис Ширяев уверен, что полноценный ИИ, описанный в вышеописанных критериях, появится даже раньше — не позднее 2025 года. Особенно с учётом новый универсальных нейросетей, которые нашумели в первой половине 2022-го. В этом контексте особенно поражает Flamingo от DeepMind (Google).
В 2012 году Андрей Карпати (Andrej Karpathy), ныне глава отдела разработки ИИ в Tesla и создатель одного из популярнейших курсов по машинному обучению, объяснил на примере забавной фотографии с Бараком Обамой, что искусственный интеллект ещё очень далёк от понимания смысла изображений. Чтобы осознать смысл происходящего на этой картинке, ИИ должен распознать весы под человеком, иметь базовые познания в физике и психологии людей, а также уметь сравнивать социальные статусы.
Теперь, спустя 10 лет, в апреле 2022 года DeepMind представила визуальную языковую модель Flamingo, которая поняла смысл той самой картинки, а также распознала изображенные на ней объекты и личность Обамы.
Это то, о чем ещё не так уж давно программисты не могли и мечтать. Поэтому в предсказания о том, что полноценный, сильный, общий — образно говоря, настоящий искусственный интеллект появится в ближайшие несколько лет, охотно верится.
