ISSN 1991-6639

· Языки: ru / en

Статья: РАЗРАБОТКА СИСТЕМЫ УПРАВЛЕНИЯ КУРСОМ БЕСПИЛОТНОГО АВТОМОБИЛЯ НА ОСНОВЕ ОБУЧЕНИЯ С ПОДКРЕПЛЕНИЕМ (2025)

Читать

Читать онлайн

Рост развития автономного транспорта связан с повышением безопасности на дорогах, снижением столкновений и повышением эффективности логистических операций. На безопасность также влияет такой фактор, как усложнение дорожных условий и задач, связанных с навигацией и управлением автомобиля, и поэтому традиционные алгоритмы управления оказываются недостаточно качественными и эффективными.

Цель исследования - разработка интеллектуальной системы, которая позволяет автономному транспортному средству самостоятельно управлять курсом движения автономного агента (модель автомобиля), который обучается навигации и следованию по заданному курсу с помощью обучения с подкреплением на основе взаимодействия с имитационной средой методом актер-критик.

Материалы и методы. В данной работе для реализации и обучения модели с подкреплением использовалась библиотека Stable-Baselines3 (SB3), построенная на фреймворке PyTorch. В качестве среды обучения использовался симулятор DonkayCar. Для повышения скорости и эффективности обучения был применен алгоритм шумоподавляющего автокодера для выделения зоны интереса.

Результаты. В рамках исследования была проведена серия сравнительных тестов, направленных на оценку влияния различных параметров эффективности обучения модели - ограничение скорости, ограничение угла поворота колес, ширины допустимого отклонения, непрерывности движения, коэффициента дисконтирования, частоты отрисовки кадров.

Выводы. Результаты исследования позволяют сделать выводы о потенциале использования обучения с подкреплением в сфере автономного транспорта, включая необходимость дообучения модели на реальных данных, перспективы масштабирования на транспортные средства различного класса, ограничения, связанные с вычислительными ресурсами и необходимостью безопасной верификации поведения.

Ключевые фразы: обучение с подкреплением, беспилотный автомобиль, q-learning, dqn (deep q-network), актер-критик, имитационное моделирование, ИНТЕЛЛЕКТУАЛЬНАЯ СИСТЕМА, симуляционная среда, устойчивость обучения

Автор (ы): Ушаков Александр Евгеньевич, Стебулянин Михаил Михайлович, Шереужев Мадин Артурович, Девяткин Федор Владимирович

Журнал: ИЗВЕСТИЯ КАБАРДИНО-БАЛКАРСКОГО НАУЧНОГО ЦЕНТРА РАН

Предпросмотр статьи

Идентификаторы и классификаторы

SCI: Информатика
УДК: 004.8. Искусственный интеллект
629. Техника средств транспорта

Для цитирования:

УШАКОВ А. Е., СТЕБУЛЯНИН М. М., ШЕРЕУЖЕВ М. А., ДЕВЯТКИН Ф. В. РАЗРАБОТКА СИСТЕМЫ УПРАВЛЕНИЯ КУРСОМ БЕСПИЛОТНОГО АВТОМОБИЛЯ НА ОСНОВЕ ОБУЧЕНИЯ С ПОДКРЕПЛЕНИЕМ // ИЗВЕСТИЯ КАБАРДИНО-БАЛКАРСКОГО НАУЧНОГО ЦЕНТРА РАН. 2025. ТОМ 27 № 3

Текстовый фрагмент статьи

Список литературы

1. Сыркин И. С., Дубинкин Д. М., Юнусов И. Ф., Ушаков А. Е. Системы управления автономного карьерного самосвала // Россия молодая: сб. материалов XIV Всероссийской науч.-практ. конф. с междунар. участием, Кемерово, 19-21 апр. 2022 г. Кемерово: Кузбасский гос. техн. ун-т им. Т. Ф. Горбачева, 2022. С. 420071-420078. EDN: CXHGOK Syrkin I.S., Dubinkin D.M., Yunusov I.F., Ushakov A.E. Control systems of autonomous mining dump trucks. Young Russia: Proceedings of the XIV All-Russian Scientific and Practical Conference with International Participation, Kemerovo, April 19-21, 2022. Kemerovo: T.F. Gorbachev Kuzbass State Technical University, 2022. Pp. 420071-420078. (In Russian). EDN: CXHGOK
2. Toromanoff M., Wirbel E., Moutarde F. End-to-end model-free reinforcement learning for urban driving using implicit affordances. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2020. С. 7151-7160. DOI: 10.1109/CVPR42600.2020.00718
3. Sauer A., Savinov N., Geiger A. Conditional affordance learning for driving in urban environments. Proceedings of the Conference on Robot Learning (CoRL). 2018. DOI: 10.48550/arXiv.1806.06498
4. Шереужев М. А., У Го, Серебренный В. В. Модификация алгоритма глубокого обучения для распределения функций и задач между робототехническим комплексом и человеком в условиях неопределенности и переменности окружающей среды // Известия Кабардино-Балкарского научного центра РАН. 2024. Т. 26. № 6. С. 208-218. DOI: 10.35330/1991-6639-2024-26-6-208-218 EDN: JSKNGG Shereuzhev M.A., U Gо, Serebrenny V.V. Modification of a deep learning algorithm for the distribution of functions and tasks between a robotic system and a human under conditions of uncertainty and environmental variability. News of the Kabardino-Balkarian Scientific Center of RAS. 2024. Vol. 26. No. 6. P. 208-218. (In Russian). DOI: 10.35330/1991-6639-2024-26-6-208-218 EDN: JSKNGG
5. Tampuu A., Semikin M., Muhammad N. et al. Survey of end-to-end driving: Architectures and training methods: arXiv preprint arXiv:2003.06404. 2020.
6. Лютикова Л. А. Применение метода машинного обучения для анализа неполных данных // Известия Кабардино-Балкарского научного центра РАН. 2024. Т. 26. № 6. С. 139-145. DOI: 10.35330/1991-6639-2024-26-6-139-145 EDN: FIUPQE Lyutikova L.A. Application of a machine learning method for the analysis of incomplete data. News of the Kabardino-Balkarian Scientific Center of RAS. 2024. Vol. 26. No. 6. Pp. 139-145. (In Russian). DOI: 10.35330/1991-6639-2024-26-6-139-145 EDN: FIUPQE
7. Шереужев М. А., Арабаджиев Д. И., Семянников И. В. Моделирование алгоритма предотвращения столкновений в робототехнических коллаборативных системах // Известия Кабардино-Балкарского научного центра РАН. 2024. Т. 26. № 6. С. 67-81. DOI: 10.35330/1991-6639-2024-26-6-67-81 EDN: CXYWXV Shereuzhev M.A., Arabadzhiev D.I., Semyannikov I.V. Modeling of a collision avoidance algorithm in collaborative robotic systems. News of the Kabardino-Balkarian Scientific Center of RAS. 2024. Vol. 26. No. 6. Pp. 67-81. (In Russian). DOI: 10.35330/1991-6639-2024-26-6-67-81 EDN: CXYWXV
8. He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas (NV), 2016. Pp. 770-778. DOI: 10.1109/CVPR.2016.90
9. Петренко В. И. Классификация задач мультиагентного обучения с подкреплением // Известия Кабардино-Балкарского научного центра РАН. 2021. Т. 3. № 101. С. 32-44. DOI: 10.35330/1991-6639-2021-3-101-32-44 EDN: BNHICC Petrenko V.I. Classification of multi-agent reinforcement learning tasks. News of the Kabardino-Balkarian Scientific Center of RAS. 2021. Vol. 3. No. 101. Pp. 32-44. (In Russian). DOI: 10.35330/1991-6639-2021-3-101-32-44 EDN: BNHICC
10. Коул А., Ганджу С., Казам М. Искусственный интеллект и компьютерное зрение: реальные проекты на Python, Keras и TensorFlow. Санкт-Петербург: Питер, 2019. 356 с. ISBN: 978-1-492-04305-0. Cole A., Gandju S., Kazam M. Iskusstvennyy intellekt i komp’yuternoye zreniye: real’nyye proyekty na Python, Keras i TensorFlow [Artificial intelligence and computer vision: Real projects using Python, Keras, and TensorFlow]. St. Petersburg: Piter, 2019. 356 p. ISBN: 978-1-492-04305-0. (In Russian).
11. Ушаков А. Е., Стебулянин М. М. Исследование параметров обучения модели для системы управления курсом движения // Интернаука: электронный научный журнал. 2025. № 1-3(365). С. 53-57. EDN: OXPGLQ Ushakov A.E., Stebulyanin M.M. Study of model training parameters for a course control system.Internauka. 2025. No. 1-3(365). Pp. 53-57. (In Russian). EDN: OXPGLQ
12. Ушаков А. Е. Использование симулятора для исследования технологий автономного движения // Российская наука в современном мире: сборник статей LXVII международной научно-практической конференции, Москва, 15 января 2025 г. М.: Актуальность. РФ, 2025. С. 155-158. EDN: JFUWYO Ushakov A.E. Using a simulator to study autonomous driving technologies.Russian Science in the Modern World: Proceedings of the LXVII International Scientific and Practical Conference. Moscow, January 15, 2025. Moscow: Aktualnost. RF, 2025. Pp. 155-158. (In Russian). EDN: JFUWYO
13. Sutton R.S., Barto A.G. Reinforcement Learning: An Introduction. Cambridge, MA: MIT Press, 2018. 552 с.
14. Liang X., Wang T., Yang L., Xing E. CIRL: Controllable imitative reinforcement learning for vision-based self-driving. Proceedings of the European Conference on Computer Vision (ECCV). 2018. DOI: 10.48550/arXiv.1807.03776
15. Шереужев М. А., Шереужев М. А., Кишев А. Ю. Вопросы выбора системы технического зрения сельскохозяйственных робототехнических комплексов для контроля сорной растительности // Известия Кабардино-Балкарского научного центра РАН. 2022. № 4(108). С. 84-95. DOI: 10.35330/1991-6639-2022-4-108-84-95 EDN: BRPTIB Shereuzhev M.A., Shereuzhev M.A., Kishev A.Yu. Issues of selecting a machine vision system for agricultural robotic complexes for weed control. News of the Kabardino-Balkarian Scientific Center of RAS. 2022. No. 4(108). Pp. 84-95. (In Russian). DOI: 10.35330/1991-6639-2022-4-108-84-95 EDN: BRPTIB
16. Chen D., Zhou B., Koltun V., Krähenbühl P. Learning by Cheating: arXiv preprint arXiv:1912.12294. 2019.

Выпуск

Том 27 № 3 (2025)

Кол-во страниц: 223 страницы

Другие статьи выпуска

НЕЙРОСЕТЕВАЯ МОДЕЛЬ ОЦЕНКИ НАДЕЖНОСТИ КОНТРАГЕНТОВ В СИСТЕМЕ ЗАКУПОК МЕТАЛЛУРГИЧЕСКОГО ПРЕДПРИЯТИЯ (2025)

Авторы: Дьячкова Виктория Викторовна, Коваленко Екатерина Сергеевна

В статье рассматривается нейросетевая модель оценки надежности контрагентов в системе закупок металлургического предприятия. Цель исследования - разработка нейросетевой модели для оценки надежности контрагентов в системе управления закупками металлургического предприятия.

Результаты. В рамках исследования произведены сбор, анализ и обработка релевантных данных, проведен комплексный анализ параметров, характеризующих поставщиков, включая финансовые, юридические, операционные, организационные и репутационные показатели, построена архитектура модели, выполнены ее обучение и проверка на тестовой выборке, а также осуществлено сравнение с традиционными подходами оценки. Результаты тестирования модели показали высокую точность прогнозирования и подтвердили целесообразность ее применения в условиях информационной неопределенности. Представлены перспективы интеграции модели в корпоративные информационные системы металлургических предприятий.

Сохранить в закладках

НЕОБХОДИМЫЕ УСЛОВИЯ ОПТИМАЛЬНОСТИ ПЕРВОГО И ВТОРОГО ПОРЯДКОВ ДЛЯ НЕПРЕРЫВНОЙ СТОХАСТИЧЕСКОЙ ЗАДАЧИ УПРАВЛЕНИЯ ТИПА РОССЕРА (2025)

Авторы: Масталиев Рашад Октай оглы

Данная работа посвящена изучению особого, в классическом смысле, случая и выводу необходимых условий оптимальности второго порядка в терминах второй вариации минимизируемого функционала в стохастической задаче управления, описываемой системой стохастических нелинейных гиперболических уравнений первого порядка, записанной в канонической форме.

Результаты. Для одной стохастической задачи оптимального управления, описываемой стохастической системой нелинейных гиперболических уравнений первого порядка, получены необходимые условия оптимальности первого и второго порядков, которые представляют собой соответственно стохастические аналоги уравнения Эйлера и условия оптимальности классической экстремали.

Методы. При получении результатов использовались теории оптимального управления и вариационного исчисления с учетом стохастических свойств рассматриваемой задачи. Подобные задачи управления возникают при оптимизации ряда химико-технологических процессов под влиянием случайных воздействий.

Сохранить в закладках

Издательство

Издательство: КБНЦ РАН
Регион: Россия, Нальчик
Почтовый адрес: 360002, Кабардино-Балкарская республика, г. Нальчик, Долинск, ул. Балкарова, дом 2
Юр. адрес: 360002, Кабардино-Балкарская республика, г. Нальчик, Долинск, ул. Балкарова, дом 2
ФИО: Нагоев Залимхан Вячеславович (Директор)
E-mail адрес: kbncran@mail.ru
Контактный телефон: +8 (866) 2420557
Сайт: https:/www.kbncran.ru

Все права на тексты и товарные знаки принадлежат их законным владельцам. Подробнее...

Сайт https://scinetwork.ru (далее – сайт) работает по принципу агрегатора – собирает и структурирует информацию из публичных источников в сети Интернет, то есть передает полнотекстовую информацию о товарных знаках в том виде, в котором она содержится в открытом доступе.

Сайт и администрация сайта не используют отображаемые на сайте товарные знаки в коммерческих и рекламных целях, не декларируют своего участия в процессе их государственной регистрации, не заявляют о своих исключительных правах на товарные знаки, а также не гарантируют точность, полноту и достоверность информации.

Все права на товарные знаки принадлежат их законным владельцам!

Сайт носит исключительно информационный характер, и предоставляемые им сведения являются открытыми публичными данными.

Администрация сайта не несет ответственность за какие бы то ни было убытки, возникающие в результате доступа и использования сайта.

Спасибо, понятно.

Наведите камеру на QR-код, чтобы открыть моб. версию страницы.