Гібридний фреймворк для адаптивного неперервного контролю на базі нейронних операторів Фур’є

Анотація

На методи гібридного адаптивного контролю спрямований неабиякий науковий та промисловий інтерес через їх потенційну можливість поєднати в собі сильні сторони методів контролю на базі аналітичних моделей (model-driven) та емпіричних даних (data-driven), перші з яких надійні та передбачувані, але повністю позбавлені адаптивності, а останні гарантують оптимальний контроль, але через суттєві обмеження є фактично незастосовними у реальних виробничих умовах з високими ризиками і вимогами до якості. Метою цієї роботи є розробка та апробація гібридного фреймворку для побудови адаптивних контролерів на базі навчання з підкріпленням, який використовує особливості нейронних операторів Фур’є (FNO) для забезпечення вищої точності і надійності системи керування. Для досягнення цієї мети запропоновано архітектуру агенту, що базується на алгоритмі TD3 та використовує FNO у ролі моделі світу. Фреймворк включає тренування FNO-мережі на історичних даних, попереднє навчання агенту на отриманому сурогаті середовища, оновлення моделі світу на базі нових спостережень у реальному часі та динамічне балансування між Dreamer-подібним плануванням та оцінками Q-мереж в залежності від того, наскільки добре модель світу здатна передбачати реакцію системи на дії агенту. Ефективність методу оцінено на симуляції промислового процесу ферментації хлібопекарських дріжджів. Результати експериментів демонструють, що запропонований метод значно перевершує поширені алгоритми SAC, TD3 та TD3+CQL, а також чистий FNO-контролер: агент успішно досягає цільової концентрації біомаси без ризикованого дослідження середовища та демонструє здатність долати невідповідність моделі реальності. Практична цінність роботи полягає у розробці методу, за допомогою якого за наявності історичних даних можливо створювати надійні адаптивні контролери для складних нелінійних процесів з високою вартістю помилки, що не вимагають аналітичних моделей, та здатні самостійно підлаштовуватися під реальні умови.