Что такое обучение с подкреплением в автономных системах

Ищете информацию о том, что такое обучение с подкреплением в машинном обучении? Автономные системы в машинном обучении меняют наш взгляд на мир самым невероятным образом. От беспилотных автомобилей до роботов — окружающий нас мир становится автономным, и одним из ключевых факторов автономной промышленной революции является обучение с подкреплением.

Что такое обучение с подкреплением в машинном обучении?

Обучение с подкреплением связано с принятием решений. Оно заключается в обучении интеллектуальной машины максимизировать вознаграждение, интерпретируя состояние поведения и окружающей среды. В алгоритмах машинного обучения с подкреплением обучаемый объект вознаграждается за определённое «приемлемое» поведение и наказывается за «нежелательное» поведение. С философской точки зрения можно сказать, что обучение на ошибках — это обучение с подкреплением.

Чтобы упростить понимание того, что такое обучение с подкреплением, давайте разберём на примере, как обученный агент или обучающаяся система приобретает «хорошее» поведение:

• Вы находитесь в «состоянии» > Вы должны перейти в «следующее состояние» > Вы совершаете «действие», чтобы перейти в следующее состояние > Вы получаете «вознаграждение» за своё действие > На основе вознаграждения вы выбираете, какое действие «совершить следующим» > Это определяет «стратегию» > Стратегия помогает вам совершать «оптимальные действия» > В конечном итоге это приводит к «максимальному вознаграждению».

Типы обучения с подкреплением в машинном обучении

У каждого своё определение, когда речь заходит о различиях между типами обучения с подкреплением. Тем не менее, можно выделить модели обучения с подкреплением, которые работают в сложных ситуациях и средах:

Обучение с подкреплением, основанное на ценностях:

Это обучение берёт за основу функцию, основанную на ценности, и оптимизирует её до такой степени, что интеллектуальные обучающиеся или агенты пытаются перейти из определённого состояния в состояние политики, чтобы получить вознаграждение. Функция, основанная на ценности, предсказывает максимальное ожидаемое вознаграждение, которое агент получит в отдельном состоянии.

Обучение с подкреплением на основе моделей:

Как следует из названия, обучение на основе моделей создаёт для агента модель окружающей среды, на которой он обучается. Эта модель обучения представляет и формирует поведенческую среду для обучаемого объекта, чтобы он мог формировать стратегии для принятия будущих решений.

Обучение с подкреплением на основе политики:

В этой модели обучения агент напрямую стремится к обучению на основе наилучшей стратегии, чтобы найти оптимальное поведение, вместо того чтобы использовать функцию, основанную на ценности. Функция градиента стратегии оптимизируется и строится от состояния к поведению вместо аппроксимации функций ценности. Оптимальное поведение агента определяется функцией, основанной на стратегии, которая стремится максимизировать вознаграждение.

• Некоторые из принципов, используемых в различных категориях обучения с подкреплением:

• УСИЛИВАТЬ
• Актер-Критик
• Q-Обучение
• Глубокие Q-сети (DQN)
• Динамическое программирование
• Древовидный поиск по методу Монте-Карло (MCTS)

Ключевые понятия обучения с подкреплением

Теперь, когда вы знаете, что такое обучение с подкреплением в машинном обучении, вам может быть интересно узнать о некоторых концепциях, лежащих в основе обучения с подкреплением для создания автономных систем. Самая основная концепция заключается в том, что агент соотносит себя с состоянием окружающей среды и адаптирует своё поведение, чтобы принимать точные решения, получая конструктивную критику в виде вознаграждений или наказаний.

Важность обучения с подкреплением в автономной промышленности

С двадцатого века перед человечеством стояла задача автоматизировать ручной труд и снизить нагрузку на людей. Всё, от машин до финансов, контролировалось людьми. Радиоуправляемые автомобили в начале двадцатого века и проект DARPA в начале 2000-х были попытками ускорить и расширить возможности автоматизации. Тем не менее, именно обучение с подкреплением действительно ускорило и оживило автоматизацию.

Некоторые преимущества обучения с подкреплением в автономном секторе:

• Модели RL позволяют системам и агентам адаптироваться и учиться на собственном опыте, а системы продолжают совершенствоваться даже без вмешательства человека.
• Это устранило необходимость в регулярном тестировании в реальных условиях, поскольку моделирование помогало агентам совершенствоваться в виртуальном пространстве.
• Раньше случайность была проблемой для автоматизированных систем, но по мере совершенствования политик улучшалось и принятие решений на основе вероятностей. Обучение с подкреплением упростило персонализацию для различных сценариев использования и применение одного и того же агента для разных задач в знакомой области.
• С помощью небольшого вмешательства человека для настройки агентов (RLHF) были созданы новые алгоритмы, имитирующие человеческую речь или выполнение задач человеком.

Что говорят эксперты?

«Обучение с подкреплением — это идея о том, что можно присваивать баллы или наказывать за все действия, которые вы совершали на пути к получению сигнала о вознаграждении.»

• Джефф Дин, главный научный сотрудник Google AI

«Обучение с подкреплением — это обучение с помощью вознаграждений, методом проб и ошибок, в процессе обычного взаимодействия с миром. Это делает его очень похожим на естественные процессы обучения и отличающимся от обучения с учителем, при котором обучение происходит только во время специальной фазы обучения, когда доступен сигнал учителя или обучающий сигнал, которого не будет во время обычного использования».

• Ричард Саттон (крестный отец обучения с подкреплением), учёный из Университета Альберты

Роль обучения с подкреплением в автономных агентах: примеры из реальной жизни

В эпоху обилия данных и стремительного научного прогресса, от уравнений Беллмана до алгоритма PPO, представленного компанией OpenAI, обучение с подкреплением совершило огромный скачок вперёд, а его практическое применение ускоряет процесс автоматизации в промышленности. Давайте рассмотрим примеры того, как крупные компании используют обучение с подкреплением в сфере автономных технологий:

Автономные автомобили

Беспилотные автомобили больше не являются чем-то из области научной фантастики. В 2015 году компания Wayve представила исключительную демонстрационную версию, в которой агент в автомобиле учится управлять колёсами и извлекает уроки из неправильных решений. Компания Tesla использует глубокое обучение с подкреплением наряду с различными методами глубокого обучения для разработки более надёжной и активной модели беспилотного автомобиля, что приводит к более точному обучению и принятию решений. AWS Deep Racer и Deep Racer EVO позволяют разработчикам создавать более эффективные политики и алгоритмы обучения с подкреплением, предоставляя свободу для экспериментов. Впереди нас ждут трудности с масштабированием моделей, но благодаря постоянному развитию и совершенствованию RL занимает центральное место в сфере беспилотных автомобилей.

Здравоохранение

После пандемии 2020 года потребность в преобразованиях в сфере здравоохранения возросла как никогда. Обучение с подкреплением используется для принятия решений в здравоохранении в ситуациях с ограниченными данными. В 2021 году Microsoft представила модель под названием Dead-end Discovery (DeD) для выявления методов лечения с высоким риском, что снижает вероятность критических ошибок, приводящих к летальному исходу. Этот агент с подкреплением может спасти жизни тяжелобольных пациентов. Автономные хирургические роботы, оснащённые самообучающимися агентами и обученные в течение тысяч часов выполнять операции, требующие предельной точности, внедряются в больницах для оказания помощи и снижения вероятности ошибок.

Большие языковые модели

Представьте себе ИИ, который может говорить, отвечать на ваши вопросы, давать рецепты на завтрак и помогать с домашним заданием. Большие языковые модели, такие как ChatGPT, призваны делать это и вести диалог, похожий на человеческий, с выдающимися результатами в завершении диалогов. Во время обучения ChatGPT компания OpenAI использовала обучение с подкреплением на основе обратной связи от человека (RLHF) и создала новую политику обучения с подкреплением под названием «Оптимизация проксимальной политики» (PPO), чтобы научить агентов принимать более взвешенные решения и генерировать более качественные тексты. Они заставили агента ответить на четыре вопроса, затем выбрали лучший ответ и вознаградили модель за достижение лучших результатов с каждым циклом.

Сельское хозяйство

Выживание человечества во многом зависит от поставок продовольствия. Наши фермеры неустанно трудятся день и ночь, чтобы собрать урожай, но традиционные методы, возможно, уже не являются самыми эффективными. От простых рефлекторных агентов до рефлекторных агентов на основе моделей — для посадки семян и расчёта воздействия различных пестицидов и инсектицидов на урожай разрабатывается множество автоматизированных ботов или дронов. Основная цель этих агентов, основанных на машинном обучении и обучении с подкреплением, — управлять беспилотными машинами, что сокращает объём ручного труда и приводит к эффективным методам ведения сельского хозяйства.

Финансы

Каждый день совершаются инвестиции на миллиарды долларов. Инвесторы и трейдеры постоянно ищут инструменты для управления рисками и решения на основе обучения с подкреплением. Агентов с обучением с подкреплением можно обучить, чтобы они снижали нагрузку на банки, помогали принимать более взвешенные решения во время торговли, принимали решения на основе данных и помогали компаниям получать конкурентные преимущества. Они также могут выполнять статистическое моделирование, распознавать закономерности и получать более глубокие аналитические данные. Агентов можно обучить работать практически без участия человека.

Проблемы создания автономных систем с обучением с подкреплением

Несмотря на то, что использование алгоритмов машинного обучения с подкреплением играет важную роль в революционных преобразованиях в сфере автономных технологий, оно сопряжено с рядом технических проблем, с которыми можно столкнуться при автоматизации систем. Давайте рассмотрим некоторые технические проблемы, связанные с автономными агентами, использующими машинное обучение с подкреплением:

• Масштабируемость данных: для автономных систем, таких как беспилотные автомобили и роботы, требуется большой объём данных. Это необходимо для того, чтобы агенты могли лучше изучать правила и избегать ошибок при реализации в реальном мире, но сбор больших объёмов данных для обучения агентов может занимать много времени.
• Неожиданные условия: иногда среда, в которой работают агенты, может быть сложной и содержать множество инструкций. Это может привести к нежелательным результатам обучения агентов, которые могут оказаться бесполезными для логического поиска в сложных условиях.
• Точность при взаимодействии: безопасность всегда является главным приоритетом, и взаимодействие между ИИ и людьми должно быть бесперебойным, особенно в случае автономных транспортных средств при принятии важных решений.

Часто задаваемые вопросы об Обучении с подкреплением

Q1. Что делает обучение с подкреплением уникальным?

Обучение с подкреплением не требует обучающих или размеченных данных для обучения, как это делают большинство традиционных методов ИИ. Оно получает обучающие данные в виде действий, которые выполняет модель, и вознаграждения, которое она получает после выполнения действия.

Q2. Каковы ключевые элементы обучения с подкреплением?

«Агент» — это среда, в которой взаимодействуют агенты; «состояние» — это представление среды в текущий момент времени; «действие», которое необходимо совершить, «вознаграждение» после действия и «политика», определяющая поведение агента, — вот некоторые из ключевых элементов обучения с подкреплением.

Q3. Является ли обучение с подкреплением нейронной сетью?

Нейронные сети по своей сути не являются частью обучения с подкреплением, но их сочетание породило новую область под названием «глубокое обучение с подкреплением».

Q4. Каковы наилучшие методы обучения с подкреплением?

Существует множество алгоритмов для создания моделей, но предварительные знания в области машинного обучения помогают нам выбрать наиболее подходящий для наших задач. Учитывая, что Q-обучение, DQN и PPO являются широко используемыми методами RL.

Вопрос 5. Какие основные проблемы ИИ можно решить с помощью глубокого обучения с подкреплением?

Хотя проблемы в основном зависят от области применения, принятие решений в условиях неопределённости данных, адаптация к различным задачам и постоянное совершенствование со временем — это проблемы, которые лучше решать с помощью RL.

Источник https://interviewkickstart.com/blogs/articles/reinforcement-learning-autonomous-systems