Исследователи Google планируют сделать программу, которая будет проектировать алгоритмы машинного обучения самостоятельно. Один из экспериментов провела Google Brain: программное обеспечение, созданное в лаборатории, способно создавать самообучающиеся программы по обработке языка. Нейросеть архитектуру другой нейросети лучше, чем это смогли сделать люди. Аналогичными разработками занимаются в MIT, OpenAI, Беркли и Калифорнийском университете, а также в DeepMind – другом подразделении Google.
«Эксперименты Google Brain – это продолжение достижений DeepMind [британская компания, занимающаяся искусственным интеллектом – прим. ред.], где ученые пытались создать алгоритмы, имитирующие работу мозга. Сложность заключается в том, чтобы охватить связи между миллиардами нейронов, поэтому полностью смоделировать архитектуру мозга так никто и не смог. Однако заслуга DeepMind в том, что они сумели создать универсальные алгоритмы, способные решить множество различных задач,» – комментирует Илья Макаров, заместитель руководителя Департамента анализа данных и искусственного интеллекта НИУ ВШЭ.
Зачем нужна самостоятельная сеть
Нейросети сегодня умеют обрабатывать текстовые данные, рисовать и составлять рекомендации.Однако их специализация все еще слишком узкая. Сейчас исследователи стремятся создать универсальные алгоритмы, которые позволят решать разнообразные задачи и обрабатывать все бо́льшие объемы данных.
Практически с момента появления нейронных сетей одной из наиболее интригующих и сложных проблем была проблема выбора оптимальной топологии – структуры нейронной сети. По сути, создатели нейросетей имитируют простейшие алгоритмы работы человеческого мозга. Однако полносвязная сеть, то есть сеть, каждый нейрон которой связан синапсом [место контакта между двумя нейронами – прим. ред.] с другим нейроном, как в головном мозге, требует наличия очень больших вычислительных мощностей. Исследователи опробовали разные решения этой проблемы: генерация случайной структуры, удаление (pruning) лишних синапсов по определенным алгоритмам, генетические алгоритмы. Однако это обеспечивало лишь ограниченный успех.
Появление современных «глубоких» нейронных сетей стало одним из ответов на этот старинный вызов. Глубокие сети – это сети, построенные из множества регулярных слоев, своеобразных строительных блоков. Это упрощает связи между нейронами. Следующим шагом стало появление сетей, предназначенных для автоматического выбора архитектуры других сетей – чтобы еще сильнее упростить задачу. Такие сети создают простые структуры и конструируют из них более сложные.
Эксперимент инженеров Google Brain – это попытка автоматизировать процесс создания таких сетей, плод закономерного развития технологий машинного обучения. Самое важное и выдающееся в нем – это то, каким образом архитектура сети была представлена в виде, пригодном для анализа другой нейронной сетью, считает Сергей Марков, автор одной из сильнейших российских шахматных программ, специалист по методам машинного обучения и основатель портала 22century.ru.
«Это действительно важный шаг вперед, который еще больше подстегнет развитие глубоких нейронных сетей и позволит улучшить те решения, которые были «нащупаны» вручную. С другой стороны, схожие, но чаще всего более простые решения используются и другими группами специалистов по ИИ и машинному обучению (моя группа тоже не исключение). Работа инженеров из Google – это шаг вперед, важный и ожидаемый, но все-таки не революция», – комментирует Сергей Марков.
В России пока работают над нейросетями, решающими конкретные задачи: машинный перевод текста, распознавание образов в изображении. Разработчики таких нейросетей – это частные компании, университетские лаборатории и , чей поисковый движок является наиболее подходящим инструментом для обработки больших данных. О создании универсальных алгоритмов в России речи пока не идет: сказывается недостаток технической базы и финансирования, утверждает Илья Макаров. Тем не менее, российские исследователи совместно с зарубежными коллегами находятся в поиске решений по автоматизации выбора оптимальной архитектуры нейронной сети.
Может ли компьютер заменить программистов
Руководитель исследовательской группы Google Brain Джефф Дин уверен, что самовоспроизводящийся алгоритм машинного обучения со временем будет способен взять на себя часть работы программистов. Однако другие эксперты уверены, что эти технологии требуют экстремальных вычислительных мощностей, и думать о том, чтобы заменить специалистов по машинному обучению или хотя бы снизить их нагрузку, рано.
«Автоматизация работы программистов идет давно. Вопрос не в том, чтобы автоматизировать работу, а в том, чтобы сделать эту автоматизацию экономически оправданной. Пока сведений об этом нет. Даже чтобы провести это исследование, понадобились очень мощные компьютеры. Люди оказываются дешевле», – комментирует руководитель робототехнического центра Фонда «Сколково» Альберт Ефимов.
По мнению Сергея Маркова, работа Google Brain является важным инженерным решением, однако нынешняя реакция в медиа превосходит реально достигнутый прогресс.
«За последние 50 лет было как минимум три подъема интереса к нейронным сетям и три спада – вплоть до почти полного пренебрежения ими», – рассказывает Сергей Кузнецов, руководитель Департамента анализа данных и искусственного интеллекта НИУ ВШЭ.
Оригинал:
Респект и уважуха
