УДК 517.977
MSC: 93C05, 93B52, 93E3, 49L20
DOI: 10.21538/0134-4889-2026-32-3-204-220
Работа выполнена при поддержке Министерства науки и высшего образования Российской Федерации, проект “Методы оптимизации гарантии в задачах управления при наличии неопределенных параметров” (соглашение № 126021317314-5).
Предложен алгоритм обучения с подкреплением методом $V$-итераций для задачи линейно-квадратичного отслеживания целевой траектории, описываемой линейной динамикой в непрерывном времени. Дано обоснование сходимости метода $V$-итераций и доказано, что он имеет сверхлинейную скорость сходимости. Приведены численные результаты, которые подтверждают эффективность метода.
Ключевые слова: обучение с подкреплением, линейно-квадратичное отслеживание, метод $V$-итераций, уравнение Риккати, квазиньютоновский метод
СПИСОК ЛИТЕРАТУРЫ
1. Anderson B.D.O., Moore J.B. Optimal control: linear-quadratic methods. Mineola, NY: Dover, 2007. 464 p. ISBN:9780486457666 .
2. Vrabie D., Abu-Khalaf M., Lewis F.L., Wang Y. Continuous-time ADP for linear systems with partially unknown dynamics // IEEE Inter. Symp. Approximate Dynamic Programming and Reinforcement Learning. Honolulu, USA, 2007. P. 247–253. https://doi.org/10.1109/ADPRL.2007.368195
3. Vrabie D., Pastravanu O., Abu-Khalaf M., Lewis F.L. Adaptive optimal control for continuous-time linear systems based on policy iteration // Automatica, 2009. Vol. 45, iss. 2. P. 477–484.
4. Lewis F.L., Vrabie D., Vamvoudakis K.G. Reinforcement learning and feedback control // IEEE Contr. Syst. Mag. 2012. Vol. 32, iss. 6. P. 76–105. https://doi.org/10.1109/MCS.2012.2214134
5. Lee J.Y., Park J.B., Choi Y.H. On integral value iteration for continuous-time linear systems // American Contr. Conf. (ACC), Washington, USA, 2013. P. 4215–4220. https://doi.org/10.1109/ACC.2013.6580487
6. Modares H., Lewis F.L. Linear quadratic tracking control of partially-unknown continuous-time systems using reinforcement learning // IEEE Trans. Automat. Contr. 2014. Vol. 59, iss. 11. P. 3051–3056. https://doi.org/10.1109/TAC.2014.2317301
7. Kiumarsi B., Vamvoudakis K.G., Modares H., Lewis F.L. Optimal and autonomous control using reinforcement learning: а survey // IEEE Trans. Neural Netw. Learn. Syst. 2018. Vol. 29, iss. 6. P. 2042–2062. https://doi.org/10.1109/tnnls.2017.2773458
8. Ронжина М.И., Мельников Н.Б. Машинное обучение и оптимальное управление. М.: Изд. центр РГУ нефти и газа (НИУ) имени И. М. Губкина, 2024. 126 с. ISBN: 978-591961-517-0 .
9. Асеев С.М., Вельов В.М. Другой взгляд на принцип максимума для задач оптимального управления с бесконечным горизонтом в экономике // Успехи мат. наук. 2019. Т. 74, вып. 6(450). С. 3–54. https://doi.org/10.4213/rm9915
10. Смовж И.Н., Мельников Н.Б. Обучение с подкреплением методом u-итераций в непрерывном времени для задачи линейно-квадратичного отслеживания // Вестн. Моск. ун-та. Сер. 15. Вычисл. математика и кибернетика. 2026. № 2. C. 61–70. https://doi.org/10.55959/MSU/0137-0782-15-2026-50–2-61-70
11. Kleinman D.L. On an iterative technique for Riccati equation computations // IEEE Trans. Automat. Contr. 1968. Vol. 13, no. 1. P. 114–115. https://doi.org/10.1109/TAC.1968.1098829
12. Lin L., Lin H., Huang J. A new approach to the data-driven output-based LQR Problem of continuous-time linear systems // IEEE Trans. Automat. Contr. 2026. P. 1–16. https://doi.org/10.48550/arXiv.2509.18819
13. Lancaster P., Rodman L. Algebraic Riccati equations. Oxford: Clarendon, 1995. Ser. Front. Appl. Math.; vol. 16. Philadelphia: SIAM, 1995. 179 p. ISBN: 0898713528 .
14. Kučera V. A contribution to matrix quadratic equations // IEEE Trans. Automat. Contr. 1972. Vol. 17, no. 3. P. 344–347.
15. Kelley C.T. Iterative methods for linear and nonlinear equations. Ser. Front. Appl. Math.; vol. 16. Philadelphia: SIAM, 1995. 179 p. ISBN: 0898713528 .
16. Канторович Л.В., Акилов Г.П. Функциональный анализ в нормированных пространствах. М.: Физматлит, 1959. 684 p.
Поступила 31.05.2026
После доработки 5.08.2026
Принята к публикации 10.08.2026
Смовж Илья Николаевич
Московский государственный университет имени. М.В. Ломоносова
smovzh.ilya@mail.ru
Мельников Николай Борисович
д-р физ.-мат. наук, профессор
Московский государственный университет имени М.В. Ломоносова
melnikov@cs.msu.ru
Ссылка на статью: И.Н. Смовж, Н.Б. Мельников. Обучение с подкреплением методом $V$-итераций для задачи линейно-квадратичного отслеживания в непрерывном времени // Тр. Ин-та математики и механики УрО РАН. 2026. Т. 32, № 3. С. 204–220
English
I.N. Smovzh, N.B. Melnikov. Reinforcement learning using value iteration method for linear-quadratic tracking problem in continuous time
A reinforcement learning algorithm using value iteration method is proposed for a linear-quadratic tracking problem with a target trajectory described by linear dynamics in continuous time. Convergence of the method is proved, and a superlinear convergence rate is established. Numerical results are presented, which confirm the effectiveness of the method.
Keywords: reinforcement learning, linear-quadratic tracking, value iteration, Riccati equation, quasi-Newton method
Received May 31, 2026
Revised August 5, 2026
Accepted August 10, 2026
Funding Agency: The research was carried out within the state assignment of Ministry of Science and Higher Education of the Russian Federation, project “Optimization methods of guarantee in control problems with uncertain parameters” (no. 126021317314-5).
Ilya Nikolaevich Smovzh, Lomonosov Moscow State University, Moscow, 119991 Russia,
e-mail: smovzh.ilya@mail.ru
Nikolai Borisovich Melnikov, Dr. Phys.-Math. Sci., Prof., Lomonosov Moscow State University, Moscow, 119991 Russia, e-mail: melnikov@cs.msu.ru
Cite this article as: I.N. Smovzh, N.B. Melnikov. Reinforcement learning using value iteration method for linear-quadratic tracking problem in continuous time. Trudy Instituta Matematiki i Mekhaniki UrO RAN, 2026, vol. 32, no. 3, pp. 204–220.
[References -> on the "English" button bottom right]
