Искусственный интеллект

Искусственный интеллект (AI), иногда называемый машинным интеллектом, является интеллектом, демонстрируемым машинами, в отличие от естественного интеллекта, отображаемого людьми и другими животными. В области компьютерных наук исследование ИИ определяется как исследование «интеллектуальных агентов»: любое устройство, которое воспринимает окружающую среду и принимает меры, которые максимизируют его шансы на успешное достижение своих целей. В толковании термин «искусственный интеллект» применяется, когда машина имитирует «когнитивные» функции, которые люди связывают с другими человеческими умами, такими как «обучение» и «решение проблем».

Масштабы ИИ оспариваются: поскольку машины становятся все более способными, задачи, которые считаются требующими «интеллекта», часто удаляются из определения, явление, известное как эффект ИИ, приводящее к появлению «ИИ — это то, что еще не сделано . [цитата не найдена] Например, оптическое распознавание символов часто исключается из «искусственного интеллекта», став обычной технологией. Современные возможности машин, обычно классифицируемые как ИИ, включают в себя успешное понимание человеческой речи, конкурирующие на самом высоком уровне в стратегических игровых системах (таких как шахматы и го), автономно управляемые автомобили и интеллектуальная маршрутизация в сетях доставки контента и военных симуляциях.

Искусственный интеллект был основан как академическая дисциплина в 1956 году, и с тех пор он пережил несколько волнений оптимизма, за которым последовало разочарование и потеря финансирования (известная как «зима AI»), а затем новые подходы, успех и возобновление финансирования , На протяжении большей части своей истории исследования ИИ были разделены на подполя, которые часто не общаются друг с другом. Эти подполя основаны на технических соображениях, таких как конкретные цели (например, «робототехника» или «машинное обучение»), использование определенных инструментов («логика» или искусственных нейронных сетей) или глубокие философские различия. Подполья также были основаны на социальных факторах (отдельных учреждениях или работе отдельных исследователей).

Традиционные проблемы (или цели) исследований ИИ включают в себя рассуждение, представление знаний, планирование, обучение, обработку естественного языка, восприятие и способность двигаться и манипулировать объектами. Общий интеллект входит в число долгосрочных целей. Подходы включают статистические методы, вычислительный интеллект и традиционный символический ИИ. Многие инструменты используются в ИИ, включая версии поиска и математической оптимизации, искусственные нейронные сети и методы, основанные на статистике, вероятности и экономике. Поле ИИ опирается на информатику, информационную инженерию, математику, психологию, лингвистику, философию и многие другие.

Поле было основано на утверждении, что человеческий интеллект «может быть настолько точно описан, что машина может быть создана для имитации». Это поднимает философские аргументы о природе ума и этике создания искусственных существ, наделенных человекоподобным интеллектом, которые являются проблемами, которые были изучены мифом, фикцией и философией с древности. Некоторые люди также считают ИИ опасностью для человечества, если она не ослабевает. Другие считают, что ИИ, в отличие от предыдущих технологических революций, создаст риск массовой безработицы. Однако Google проводит глобальный конкурс по разработке ИИ, который выгоден для человечества

В двадцать первом веке методы ИИ испытали возрождение после одновременных успехов в компьютерной силе, больших объемах данных и теоретическом понимании; и методы ИИ стали неотъемлемой частью технологической отрасли, помогая решать многие сложные проблемы в области информатики, разработки программного обеспечения и операций.

подходы
Не существует единой объединяющей теории или парадигмы, которая ведет исследования ИИ. Исследователи не согласны с многими проблемами. Некоторые из самых длинных стоящих вопросов, которые остались без ответа, таковы: если искусственный интеллект имитирует естественный интеллект, изучая психологию или нейробиологию? Или человеческая биология не имеет отношения к исследованиям ИИ, поскольку биология птиц относится к авиационной технике? Можно ли описать интеллектуальное поведение с помощью простых, элегантных принципов (таких как логика или оптимизация)? Или это обязательно требует решения большого числа совершенно не связанных между собой проблем?

Кибернетика и моделирование мозга
В 1940-х и 1950-х годах ряд исследователей исследовали связь между нейробиологией, теорией информации и кибернетикой. Некоторые из них построили машины, которые использовали электронные сети, чтобы проявлять рудиментарный интеллект, такие как черепахи В. Грея Уолтера и Зверь Джонса Хопкинса. Многие из этих исследователей собрались на собрания Телеологического общества в Принстонском университете и клуба Ratio в Англии. К 1960 году этот подход был в значительной степени заброшен, хотя его элементы будут возрождены в 1980-х годах.

символичный
Когда доступ к цифровым компьютерам стал возможен в середине 1950-х годов, исследования ИИ начали изучать возможность того, что человеческий интеллект может быть сведен к манипулированию символами. Исследование было сосредоточено в трех учреждениях: Университете Карнеги-Меллона, Стэнфорде и Массачусетском технологическом институте, и, как описано ниже, каждый из них разработал собственный стиль исследований. Джон Хаугеланд назвал эти символические подходы к искусственному интеллекту «добрым старомодным искусственным интеллектом» или «GOFAI». В 1960-х годах символические подходы достигли больших успехов при моделировании мышления высокого уровня в небольших демонстрационных программах. Подходы, основанные на кибернетике или искусственных нейронных сетях, были оставлены или отодвинуты на второй план. Исследователи в 1960-х и 1970-х годах были убеждены в том, что символическим подходам в конечном итоге удастся создать машину с искусственным общим интеллектом и считал это целью своей области.

Когнитивное моделирование
Экономист Герберт Симон и Аллен Ньюэлл изучали навыки решения проблем людей и пытались их формализовать, а их работа заложила основы области искусственного интеллекта, а также когнитивной науки, исследований в области исследований и управления. Их исследовательская группа использовала результаты психологических экспериментов для разработки программ, имитирующих методы, используемые людьми для решения проблем. Эта традиция, сосредоточенная в Университете Карнеги-Меллона, в конечном итоге завершится развитием архитектуры Soar в середине 1980-х годов.

Логика на основе
В отличие от Симона и Ньюэлла, Джон МакКарти считал, что машинам не нужно моделировать человеческую мысль, но вместо этого попытаться найти сущность абстрактных рассуждений и решения проблем, независимо от того, используют ли люди одни и те же алгоритмы. Его лаборатория в Стэнфорде (SAIL) сосредоточилась на использовании формальной логики для решения широкого круга проблем, включая представление знаний, планирование и обучение. Логика также была в центре внимания работы в Эдинбургском университете и в других местах в Европе, что привело к разработке языка программирования Prolog и науки логического программирования.

Анти-логический или неряшливый
Исследователи из Массачусетского технологического института (такие как Марвин Мински и Сеймур Паперт) обнаружили, что решение сложных проблем в области видения и обработки естественного языка требует специальных решений — они утверждали, что не существует простого и общего принципа (например, логики), который бы охватывал все аспекты интеллектуальное поведение. Роджер Шенк описал свои «анти-логические» подходы как «неряшливые» (в отличие от «опрятных» парадигм в КМУ и Стэнфорде). Основы знаний Commonsense (такие как Doug Lenat’s Cyc) являются примером «неряшливого» AI, поскольку они должны быть построены вручную, одна сложная концепция за раз.

Основанное на знаниях
Когда в 1970 году появились компьютеры с большими воспоминаниями, исследователи из всех трех традиций начали создавать знания в приложениях AI. Эта «революция знаний» привела к разработке и внедрению экспертных систем (введенных Эдвардом Фейгенбаумом), первой по-настоящему успешной форме программного обеспечения ИИ. Ключевой компонент системы arhitecute для всех экспертных систем — это база знаний, в которой хранятся факты и правила, иллюстрирующие ИИ. Революция знаний также была обусловлена ​​осознанием того, что многие простые знания потребуют огромного количества знаний.

Суб-символического
К 1980-м годам прогресс в символическом ИИ, казалось, заглох, и многие полагали, что символические системы никогда не смогут подражать всем процессам человеческого познания, особенно восприятию, робототехнике, обучению и распознаванию образов. Ряд исследователей начали изучать «подсимвольные» подходы к конкретным проблемам ИИ. Субсимволические методы позволяют подойти к интеллекту без конкретных представлений о знаниях.

Воплощенный интеллект
Это включает в себя воплощенный, расположенный, основанный на поведении и новый AI. Исследователи из связанной области робототехники, такие как Родни Брукс, отклонили символический ИИ и сосредоточились на основных технических проблемах, которые позволили бы роботам двигаться и выживать. Их работа возродила несимволическую точку зрения ранних исследователей кибернетики 1950-х годов и вновь включила использование теории управления в ИИ. Это совпало с развитием воплощенного умозаключения в связанной области познавательной науки: идея о том, что для высшего интеллекта требуются аспекты тела (такие как движение, восприятие и визуализация).

В рамках робототехники развития разрабатываются подходы к обучению в целях развития, позволяющие роботам накапливать репертуар новых навыков посредством автономного самопознания, социального взаимодействия с преподавателями-человеками и использования механизмов наведения (активное обучение, созревание, синергия двигателя и т. Д.).

Вычислительный интеллект и программирование
Интерес к нейронным сетям и «связности» был оживлен Дэвидом Румельхартом и другими в середине 80-х годов. Искусственные нейронные сети являются примером мягких вычислений — они являются решениями проблем, которые не могут быть решены с полной логической определенностью и где достаточно приблизительное решение. Другие подходы к компьютерному программированию включают нечеткие системы, эволюционные вычисления и множество статистических инструментов. Применение мягких вычислений к ИИ изучается коллективно с помощью новой дисциплины вычислительного интеллекта.

Статистическое обучение
Большая часть традиционного GOFAI увязла на специальных платах с символическими вычислениями, которые работали на собственных игрушечных моделях, но не смогли обобщить реальные результаты. Однако в 1990-х годах исследователи ИИ применяли сложные математические инструменты, такие как скрытые марковские модели (HMM), теорию информации и нормативную байесовскую теорию принятия решений для сравнения или объединения конкурирующих архитектур. Общий математический язык допускал высокий уровень сотрудничества с более известными областями (например, математика, экономика или исследования операций). По сравнению с GOFAI, новые методы «статистического обучения», такие как HMM и нейронные сети, набирают более высокие уровни точности во многих практических областях, таких как интеллектуальный анализ данных, не обязательно приобретая семантическое понимание наборов данных. Увеличенные успехи с данными в реальном мире привели к усилению акцента на сравнении разных подходов к общим тестовым данным, чтобы увидеть, какой подход лучше всего подходит в более широком контексте, чем тот, который обеспечивается идиосинкразированными игрушечными моделями; Исследования ИИ стали более научными. В настоящее время результаты экспериментов часто строго измеримы и иногда (с трудом) воспроизводимы. Различные методы статистического обучения имеют разные ограничения; например, базовая HMM не может моделировать бесконечные возможные комбинации естественного языка. Критики отмечают, что переход от GOFAI к статистическому обучению часто также является смещением от объясняемого ИИ. В исследовании AGI некоторые ученые предостерегают от чрезмерной зависимости от статистического обучения и утверждают, что продолжение исследований в GOFAI по-прежнему будет необходимо для достижения общей разведки.

Интеграция подходов

Интеллектуальная парадигма агента
Интеллектуальный агент — это система, которая воспринимает окружающую среду и принимает меры, которые максимизируют ее шансы на успех. Простейшими интеллектуальными агентами являются программы, которые решают конкретные проблемы. Более сложные агенты включают людей и организации людей (например, фирмы). Парадигма позволяет исследователям напрямую сравнивать или даже комбинировать различные подходы к изолированным проблемам, спрашивая, какой агент лучше всего максимизирует заданную «целевую функцию». Агент, который решает определенную проблему, может использовать любой подход, который работает — некоторые агенты являются символическими и логическими, некоторые из них являются сублимическими искусственными нейронными сетями, а другие могут использовать новые подходы. Парадигма также дает исследователям общий язык для общения с другими областями, такими как теория принятия решений и экономика, которые также используют понятия абстрактных агентов. Создание полного агента требует от исследователей решения реалистических проблем интеграции; например, поскольку сенсорные системы дают неопределенную информацию об окружающей среде, системы планирования должны иметь возможность функционировать в условиях неопределенности. Парадигма интеллектуального агента стала широко распространенной в 1990-х годах.
Архитектуры агентов и когнитивные архитектуры
Исследователи разработали системы для создания интеллектуальных систем из взаимодействующих интеллектуальных агентов в многоагентной системе. Иерархическая система управления обеспечивает мост между субсимвольным ИИ на своих самых низких, реактивных уровнях и традиционным символическим ИИ на самых высоких уровнях, где ограниченные временные ограничения позволяют планировать и моделировать мир. Некоторые когнитивные архитектуры специально разработаны для решения узкой проблемы; другие, такие как Soar, призваны имитировать человеческое познание и дать представление об общем интеллекте. Современные расширения Soar — это гибридные интеллектуальные системы, которые включают как символические, так и субсимвольные компоненты.

инструменты

AI разработало большое количество инструментов для решения самых сложных проблем в информатике. Ниже приведены некоторые из наиболее общих из этих методов.

Поиск и оптимизация
Многие проблемы в ИИ могут быть решены теоретически путем интеллектуального поиска множества возможных решений: рассуждение может быть сведено к выполнению поиска. Например, логическое доказательство можно рассматривать как поиск пути, который ведет от предположений к выводам, где каждый шаг является применением правила вывода. Алгоритмы планирования выполняют поиск по деревьям целей и подцелей, пытаясь найти путь к целевой цели, процесс, называемый анализом средств. Алгоритмы робототехники для перемещения конечности и захватывающих объектов используют локальные поиски в конфигурационном пространстве. Многие алгоритмы обучения используют алгоритмы поиска на основе оптимизации.

Простые исчерпывающие поиски редко бывают достаточными для большинства реальных проблем: пространство поиска (количество мест для поиска) быстро растет до астрономических чисел. Результатом является поиск, который слишком медленный или никогда не завершается. Для многих проблем решение состоит в том, чтобы использовать «эвристику» или «эмпирические правила», которые определяют приоритеты выбора в пользу тех, которые с большей вероятностью достигают цели и делают это с меньшим количеством шагов. В некоторых методологиях поиска эвристика также может полностью устранить некоторые варианты, которые вряд ли приведут к цели (так называемая «обрезка дерева поиска»). Эвристика предоставляет программе «лучшее предположение» для пути, на котором лежит решение. Эвристика ограничивает поиск решений меньшим размером выборки.

В 90-е годы в значительной степени занялся поиском совершенно другого вида, основанного на математической теории оптимизации. Для многих проблем можно начать поиск с некоторой догадки, а затем уточнить догадки, пока не будет сделано никаких уточнений. Эти алгоритмы можно визуализировать как слепое поднятие холма: мы начинаем поиск в случайной точке на ландшафте, а затем, прыжками или шагами, мы продолжаем двигаться вперед, пока мы не достигнем вершины. Другие алгоритмы оптимизации — имитируемый отжиг, поиск луча и случайная оптимизация.

Эволюционное вычисление использует форму поиска оптимизации. Например, они могут начинаться с популяции организмов (догадки), а затем позволяют им мутировать и рекомбинировать, выбирая только наиболее приспособленные, чтобы выжить в каждом поколении (уточняя догадки). Классические эволюционные алгоритмы включают генетические алгоритмы, программирование генной экспрессии и генетическое программирование. В качестве альтернативы, процессы распределенного поиска могут координировать с помощью алгоритмов swarm-интеллекта. Два популярных алгоритма роя, используемые в поиске, — это оптимизация ромов (вдохновленная птичьим флокированием) и оптимизация колонии муравьев (вдохновленная тропами муравьев).

логика
Логика используется для представления знаний и решения проблем, но может быть применена и к другим проблемам. Например, алгоритм satplan использует логику для планирования, а индуктивное логическое программирование — это метод обучения.

В исследованиях ИИ используются несколько различных форм логики. Пропозициональная логика включает функции правды, такие как «или» и «нет». Логика первого порядка добавляет кванторы и предикаты и может выражать факты об объектах, их свойствах и их отношениях друг с другом. Теория нечетких множеств присваивает «степень истины» (от 0 до 1) до неопределенных утверждений, таких как «Алиса старая» (или богатая, или высокая, или голодная), которые слишком лингвистически неточны, чтобы быть полностью истинными или ложными. Нечеткая логика успешно используется в системах управления, чтобы позволить экспертам вносить нечеткие правила, такие как «если вы находитесь близко к станции назначения и быстро двигаетесь, увеличивайте тормозное давление поезда»; эти неопределенные правила затем могут быть численно усовершенствованы внутри системы. Нечеткая логика не может хорошо масштабироваться в базовых знаниях; многие исследователи AI ставят под сомнение обоснованность цепочки нечетких логических выводов.

Логики по умолчанию, немонотонные логики и ограничения являются формами логики, призванными помочь в определении аргументации и проблеме квалификации. Несколько расширений логики были разработаны для обработки определенных областей знаний, таких как: логика описания; исчисление исчисления, исчисление событий и свободное исчисление (для представления событий и времени); причинное исчисление; исчисление убеждений; и модальные логики.

В целом, качественная символическая логика является хрупкой и плохо масштабируется при наличии шума или другой неопределенности. Исключения из правил многочисленны, и логическим системам сложно функционировать при наличии противоречивых правил.

Вероятностные методы неопределенного рассуждения
Многие проблемы в ИИ (в рассуждениях, планировании, обучении, восприятии и робототехнике) требуют от агента работы с неполной или неопределенной информацией. Исследователи ИИ разработали ряд мощных инструментов для решения этих проблем с использованием методов теории вероятностей и экономики.

Байесовские сети — это очень общий инструмент, который можно использовать для большого количества проблем: рассуждение (с использованием байесовского алгоритма вывода), обучение (с использованием алгоритма максимизации ожиданий), планирование (использование сетей решений) и восприятие (с использованием динамических байесовских сетей ). Вероятностные алгоритмы также могут использоваться для фильтрации, прогнозирования, сглаживания и поиска объяснений потоков данных, помогая системам восприятия анализировать процессы, которые происходят со временем (например, скрытые марковские модели или фильтры Кальмана). По сравнению с символической логикой формальный байесовский вывод вычислительно дорог. Чтобы сделать вывод, что большинство наблюдений должны быть условно независимыми друг от друга. Сложные графики с бриллиантами или другими «петлями» (неориентированные циклы) могут потребовать сложного метода, такого как Markov Chain Monte Carlo, который распространяет ансамбль случайных ходунков по всей байесовской сети и пытается сходиться к оценке условных вероятностей. Байесовские сети используются на Xbox Live для оценки и соответствия игроков; победы и потери являются «доказательством» того, насколько хорош игрок. AdSense использует байесовскую сеть с более чем 300 миллионами ребер, чтобы узнать, какие объявления будут обслуживаться.

Ключевой концепцией экономики науки является «полезность»: показатель того, насколько ценным является что-то разумное средство. Были разработаны точные математические инструменты, которые анализируют, как агент может делать выбор и планировать, используя теорию принятия решений, анализ решений и теорию информационных ценностей. Эти инструменты включают в себя такие модели, как процессы принятия решений в Марков, сети динамических решений, теория игр и дизайн механизмов.

Классификаторы и методы статистического обучения
Простейшие приложения ИИ можно разделить на два типа: классификаторы («если блестящие, а затем алмазные») и контроллеры («если они блестящие, а затем забрать»). Тем не менее, контроллеры также классифицируют условия перед выводом действий, поэтому классификация является центральной частью многих систем ИИ. Классификаторы — это функции, которые используют сопоставление образцов для определения ближайшего соответствия. Они могут быть настроены в соответствии с примерами, что делает их очень привлекательными для использования в искусственном интеллекте. Эти примеры известны как наблюдения или образцы. При контролируемом обучении каждый шаблон относится к определенному предопределенному классу. Класс можно рассматривать как решение, которое должно быть принято. Все наблюдения в сочетании с их метками классов известны как набор данных. Когда получено новое наблюдение, это наблюдение классифицируется на основе предыдущего опыта.

Классификатор может обучаться по-разному; существует множество подходов к статистическому и машинного обучения. Деревом решений является, пожалуй, наиболее широко используемый алгоритм машинного обучения. Другими широко используемыми классификаторами являются нейронная сеть, алгоритм k-ближайшего соседа, ядерные методы, такие как машина векторной поддержки (SVM), модель смеси Гаусса и чрезвычайно популярный наивный классификатор Байеса. Производительность классификатора во многом зависит от характеристик классифицируемых данных, таких как размер набора данных, размерность и уровень шума. Классификаторы на основе моделей хорошо работают, если предполагаемая модель чрезвычайно подходит для реальных данных. В противном случае, если подходящая модель не доступна, и если точность (а не скорость или масштабируемость) является единственной заботой, то общепринятая мудрость заключается в том, что дискриминационные классификаторы (особенно SVM) имеют тенденцию быть более точными, чем классификаторы на основе моделей, такие как «наивные байесовские», на большинстве практических наборов данных.

Искусственные нейронные сети
Нейронные сети или нейронные сети были вдохновлены архитектурой нейронов в мозге человека. Простой «нейрон» N принимает вход от нескольких других нейронов, каждый из которых, когда активирован (или «уволен»), вводит взвешенное «голосование» за или против того, должен ли активировать нейрон N. Для обучения требуется алгоритм для корректировки этих весов на основе данных обучения; один простой алгоритм (дублированный «огонь вместе, провод вместе») заключается в увеличении веса между двумя связанными нейронами, когда активация одного инициирует успешную активацию другого. Чистые формы «понятий», которые распределяются между подсетями общих нейронов, которые стремятся сжечь; понятие, означающее «нога», может сочетаться с подсети, означающей «нога», которая включает звук для «ноги». Нейроны имеют непрерывный спектр активации; кроме того, нейроны могут обрабатывать входные сигналы нелинейным способом, а не взвешивать прямые голоса. Современные нейронные сети могут изучать как непрерывные функции, так и, что удивительно, цифровые логические операции. Ранние успехи нейронных сетей включали прогнозирование фондового рынка и (в 1995 году), в основном, самозарядного автомобиля. В 2010-х годах прогресс в нейронных сетях, использующих глубокое обучение, побуждал ИИ к широкому общественному сознанию и способствовал огромной перераспределению затрат на корпоративное ИИ; например, связанные с ИИ слияния и поглощения в 2017 году были в 25 раз больше, чем в 2015 году.

Изучение искусственных нейронных сетей без обучения началось в течение десятилетия до того, как была создана область исследований ИИ в работе Уолтера Питса и Уоррена МакКулуха. Фрэнк Розенблатт изобрел персептрон, обучающую сеть с одним слоем, похожую на старую концепцию линейной регрессии. Среди первых пионеров также присутствуют Алексей Григорьевич Ивахненко, Теуво Кохонен, Стивен Гроссберг, Кунихико Фукусима, Кристоф фон дер Мальсбург, Дэвид Уиллшоу, Шун-Ичи Амари, Бернард Видро, Джон Хопфилд, Эдуардо Р. Кайянелло и другие.

Основными категориями сетей являются ациклические или первичные нейронные сети (где сигнал проходит только в одном направлении) и повторяющиеся нейронные сети (которые позволяют получать обратную связь и кратковременные воспоминания о предыдущих событиях ввода). Среди наиболее популярных сетей с прямой связью — персептроны, многослойные персептроны и радиальные базовые сети. Нейронные сети могут быть применены к проблеме интеллектуального управления (для робототехники) или обучения, используя такие методы, как обучение в Hebbian («стрелять вместе, соединяться вместе»), GMDH или конкурентное обучение.

Сегодня нейронные сети часто обучаются алгоритмом обратного распространения, который существует с 1970 года как обратный режим автоматической дифференциации, опубликованный Сеппо Линнайнмаа, и был введен в нейронные сети Полом Вербосом.

Иерархическая временная память — это подход, который моделирует некоторые структурные и алгоритмические свойства неокортекса.

Короче говоря, большинство нейронных сетей используют некоторую форму градиентного спуска на созданной вручную нейронной топологии. Тем не менее, некоторые исследовательские группы, такие как Убер, утверждают, что простая нейроэволюция для изменения новых топологий и весов нейронной сети может быть конкурентоспособной со сложными подходами с градиентным спусками. Одним из преимуществ нейроэволюции является то, что она может быть менее подвержена попаданию в «тупики».

Нейронные сети с глубоким подкреплением
Глубокое обучение — это любая искусственная нейронная сеть, которая может изучить длинную цепочку причинно-следственных связей. Например, прямая сеть с шестью скрытыми слоями может изучать семисвязную причинную цепочку (шесть скрытых уровней + выходной уровень) и имеет «путь назначения кредита» (CAP) глубиной семь. Многие системы глубокого обучения должны иметь возможность изучать целые десять или более причинно-следственных связей. Глубокое обучение трансформировало множество важных подполей искусственного интеллекта, включая компьютерное зрение, распознавание речи, обработку естественного языка и другие.

Согласно одному из обзоров, выражение «Глубокое обучение» было внесено в сообщество машинного обучения Риной Дехтер в 1986 году и приобрело силу после того, как Игорь Айзенберг и его коллеги познакомили его с искусственными нейронными сетями в 2000 году. Первые функциональные сети Deep Learning были опубликованы Алексеем Григорьевич Ивахненко и В.Г. Лапа в 1965 году. [Страница необходима] Эти сети обучаются по одному слою за раз. В статье 1971 года Ивахненко описывается изучение глубокого многопрофильного персептрона с восемью слоями, уже гораздо более глубокого, чем многие последующие сети. В 2006 году публикация Джеффри Хинтона и Руслана Салахутдинова представила еще один способ предварительной подготовки многослойных линий прямых нервных сетей (FNN) по одному слою за раз, обрабатывая каждый слой в свою очередь как неконтролируемую ограниченную машину Больцмана, затем используя контролируемое обратное распространение для тонкая настройка. Подобно мелким искусственным нейронным сетям, глубокие нейронные сети могут моделировать сложные нелинейные отношения. За последние несколько лет успехи в алгоритмах машинного обучения и компьютерном оборудовании привели к более эффективным методам обучения глубоким нейронным сетям, которые содержат много слоев нелинейных скрытых единиц и очень большой выходной уровень.

Глубокое обучение часто использует сверточные нейронные сети (CNN), происхождение которых можно проследить до неокогнитрона, введенного Кунихико Фукусимой в 1980 году. В 1989 году Ян Лецун и его коллеги применили обратную прокладку к такой архитектуре. В начале 2000-х годов в промышленном применении CNN уже обработали, по оценкам, от 10% до 20% всех чеков, написанных в США. С 2011 года быстрые реализации CNN на графических процессорах завоевали множество соревнований по распознаванию образов.

CNN с 12 сверточными слоями использовались в сочетании с усилением обучения Deepmind’s «AlphaGo Lee», программы, которая победила в топ-гоме в 2016 году.

Глубоко повторяющиеся нейронные сети
На раннем этапе глубокое обучение также применялось к обучению последовательностям с повторяющимися нейронными сетями (RNN), которые теоретически дополняют Turing и могут запускать произвольные программы для обработки произвольных последовательностей входных данных. Глубина RNN неограниченна и зависит от длины входной последовательности; таким образом, RNN является примером глубокого обучения. RNN могут обучаться с помощью градиентного спуска, но страдают от проблемы исчезновения градиента. В 1992 году было показано, что неконтролируемая предварительная подготовка стека рекуррентных нейронных сетей может ускорить последующее контролируемое обучение глубоким последовательным проблемам.

Многочисленные исследователи теперь используют варианты глубокого обучения, повторяющиеся NN, называемые сетью с длинной короткой памятью (LSTM), опубликованной Hochreiter & Schmidhuber в 1997 году. LSTM часто обучается временным классификаторам Connectionist (CTC). В Google, Microsoft и Baidu этот подход революционизировал распознавание речи. Например, в 2015 году распознавание речи Google привело к резкому скачку производительности на 49% благодаря LSTM, прошедшему обучение в CTC, который теперь доступен через Google Voice миллиардам пользователей смартфонов. Google также использовал LSTM для улучшения машинного перевода, языкового моделирования и многоязычной обработки текстов. LSTM в сочетании с CNN также улучшили автоматическую подпись изображений и множество других приложений.

Оценка прогресса
AI, как электричество или паровой двигатель, является универсальной технологией. Нет консенсуса относительно того, как охарактеризовать те задачи, к которым стремится ИИ. Хотя такие проекты, как AlphaZero, преуспели в создании собственных знаний с нуля, многие другие проекты машинного обучения требуют больших наборов учебных материалов. Исследователь Эндрю Нг предположил, что это «крайне несовершенное эмпирическое правило», что «почти все, что типичный человек может сделать с менее чем одной секундой психического мышления, мы можем, вероятно, сейчас или в ближайшем будущем автоматизировать использование ИИ». Парадокс Моравека предполагает, что AI отстает от людей во многих задачах, которые человеческий мозг специально развил, чтобы хорошо работать.

Игры обеспечивают широко распространенный ориентир для оценки темпов прогресса. AlphaGo около 2016 года приблизил эпоху классических настольных игр. Игры несовершенного знания создают новые проблемы для ИИ в области теории игр. Электронные виды спорта, такие как StarCraft, продолжают предоставлять дополнительные публичные тесты. Есть много конкурсов и призов, таких как Imagenet Challenge, для продвижения исследований в области искусственного интеллекта. Основные области соревнований включают общий машинный интеллект, диалоговое поведение, интеллектуальный анализ данных, роботизированные автомобили и робот-футбол, а также обычные игры.

«Имитация игры» (интерпретация теста Тьюринга 1950 года, который оценивает, может ли компьютер подражать человеку) в настоящее время считается слишком пригодным для использования в качестве значимого эталона. Производным теста Тьюринга является полностью автоматизированный публичный тест Тьюринга, чтобы рассказать о компьютерах и людях (CAPTCHA). Как следует из названия, это помогает определить, что пользователь является фактическим человеком, а не компьютером, создающим человека.В отличие от стандартного теста Тьюринга, CAPTCHA управляется машиной и ориентируется на человека, а не на человека и нацелен на машину. Компьютер просит пользователя выполнить простой тест, затем генерирует оценку для этого теста. Компьютеры не могут решить проблему, поэтому правильные решения считаются результатом того, что человек проходит тест. Общим типом CAPTCHA является тест, который требует ввода искаженных букв, цифр или символов, которые появляются на изображении, не поддаваясь анализу компьютера.

Предлагаемые тесты «универсального интеллекта» на то, чтобы сравнить, насколько эффективны машины, люди и даже нечеловеческие животные на наборах задач, которые являются общими, насколько это возможно. В крайнем случае набор тестов может содержать все возможные проблемы, взвешенные по сложности Колмогорова; к сожалению, в этих наборах проблем преобладают обедневшие упражнения по сопоставлению с образцами, когда настроенный ИИ может легко превышать уровни производительности человека.