Central Asian Research Index

Science and Technology of Kazakhstan, 2025, № 4, 2025, с. 109-121

ПОСТРОЕНИЕ И ГЕНЕРАЦИЯ ОПТИМАЛЬНЫХ ТРАЕКТОРИИ ПРИ ПОМОЩИ АЛГОРИТМА ОБУЧЕНИЯ С ПОДКРЕПЛЕНИЕМ DDPG

З. З. Момынкулов, О. М. Олжаев, А. Т. Турсынова, А. К. Тулешов, С. М. Ибраев

Аннотация · Abstract

Целью данной работы является исследование эффективности алгоритма глубокого обучения с подкреплением Deep Deterministic Policy Gradient (DDPG) для генерации и оптимизации траекторий агента в задачах с непрерывными пространствами управления. Исследование направлено на демонстрацию возможностей DDPG в условиях ограниченного количества эпизодов и усложнённых задач с препятствиями и множественными целевыми точками. Основное внимание уделяется построению функции награды, учитывающей расстояние до цели, избегание препятствий и успешное достижение целей, а также визуализации полученных траекторий. Показано, что применение алгоритма DDPG позволяет агенту адаптивно обучаться и успешно находить как одиночную, так и множественные цели, формируя эффективные траектории. При этом демонстрируется устойчивость поведения агента к изменениям условий задачи, а также высокая способность к избеганию препятствий. Несмотря на ограниченное число эпизодов, агент в большинстве случаев способен стабильно достигать целей по оптимальным траекториям. Результаты подтверждают перспективность использования DDPG в задачах планирования и управления траекторией, включая робототехнические приложения. Дальнейшие исследования могут быть направлены на расширение среды, увеличение числа целей и внедрение более сложных функций награды. Ключевые слова: обучение с подкреплением, DDPG, генерация траектории, функция награды, непрерывное пространство, робототехника, навигация, планирование движения.

Сведения · Details