Model-Free Optimal Control

Modelsiz optimal kontrol, özellikle geleneksel model tabanlı yaklaşımlar kısa olduğu yüksek dinamik sistemler için bir paradigma değişikliğini temsil eder.Demokratsız ortamlarda, veya esnek üretim hücreleri, bitki dinamiklerinin doğru bir matematiksel modelini elde etmek, sistem tanımlamalarının zorlandığı veya imkansız olduğu sistemler için. Modelsiz yöntemler bunu doğrudan etkileşim verileri veya gerçek zamanlı geri bildirimlerden öğrenerek, açık bir sistem modeli gerektirmeden, bu, sistem parametrelerinin nerede hızla hükmedildiğine dair oldukça çekici hale getirir.

Modelsiz kontrol temel avantajı, bilinmeyen dinamiklere adapte olma yeteneğinde yatıyor. Önden gelen bir modele güvenmek yerine, kontrol alanı devlet-action alanı araştırıyor ve performans artırmak için gözlemler kullanıyor.Bu veri odaklı yaklaşım, daha önce geleneksel kontrol teorisi için çok karmaşık olarak kabul edilen ayarlarda gerçek zamanlı optimizasyona olanak sağlıyor.

Model-Free Control'te Core Techniques

Çeşitli farklı metodolojiler modelsiz optimal kontrol şemsiyesi altında düşer. Her biri eşsiz güçlü ve ticari-offlar sunar ve teknik seçimi genellikle sistemin doğasına, mevcut hesaplama kaynaklarına ve performans gereksinimlerine bağlıdır.

Dondurma Öğrenme Öğrenme Öğrenme

Modelsiz kontrol için baskın bir çerçeve olarak donatma öğrenme (RL) ortaya çıktı. RL, bir ajan, çevre ile tekrar etkileşime girerek, eylemleri için ödüller veya cezalar aldı. Önemli fikir, sürekli kontrol görevleri olmadan zaman içinde en iyi şekilde ödüllendirilmek için uygulanır.

Adaptif Dinamik Programlama

Adaptif dinamik programlama (ADP), uygun değer fonksiyonunu ve kontrol politikasını en iyi şekilde yaklaşık olarak tahmin eden bir yöntem sınıfıdır. ADP teknikleri genellikle sinir ağları veya diğer işlevin yaklaşık olarak yaklaşık olarak değeri kontrol etmek için sayısal ağlar veya diğer işlevlerin yaklaşık olarak kullanılması ve güç sistemlerinde, havacılık ve robotik bir süreçtir.

Evrimsel Algoritmalar

Evrimsel algoritmaları (EAs), her nesilde, gerçek sistem veya bir simülatörün modellenmesine yönelik bir yaklaşım sunuyor ve bir sonraki nesil için en iyi performansçıların seçildiği ve kovarians matris adaptasyonu stratejisi (CMA-ES), onları nesiller boyunca uygun bir aday kontrol politikaları yaratıyor. Her nesilde, politikalar gerçek sistem veya bir simülatörü üzerinde değerlendirilir ve en iyi performansçıların daha yavaş olması için en iyi performans gösteren yöntemlerden daha yavaşlar.

Uygulama Challenges ve Mitigation Strategies

Yüksek dinamik sistemlerde modelleme modeli ücretsiz kontrol, güvenli, istikrarlı ve verimli bir operasyon sağlamak için ele alınması gereken bir takım zorluklar sunar. Aşağıdaki alt bölümler, araştırmacılar ve mühendisler onları aşmak için kullandıklarını ayrıntılı olarak detaylandırır.

Stability and Convergence Issues

Modelsiz algoritmalar genellikle formal stabilite garantileri eksik, özellikle öğrenme aşamasında. Dinamik sistemlerde, dengesiz bir kontrol gerçek sistem üzerinde dağıtmadan önce simülasyonda yardımcı olabilir. Başka bir yaklaşım, eylemlerin güvenli bölgelere yayılması, bilgi birikimi olarak genişletilmesi için güvenli yöntemler kullanmaktır.

Örnek Verimlilik ve Keşif

Yüksek dinamik sistemler genellikle hızlı zaman ölçeklerinde çalışır, öğrenme için mevcut olan etkileşimleri sınırlandırır. Modelsiz yöntemler haklı örnek olarak örneklenmedir. Örnek verimlilik geliştirmek için, deneyim yeniden oyun (geçen geçmiş geçişler ve yeniden kullanarak), model tabanlı ısı bazlı bir başlangıç (en önce politikalar üretmek için yaklaşık bir model kullanarak), ve farklı bir politika tarafından üretilen verilerden yararlanılabilir.

Gerçek Zamanlı Kıvırlamalar

Modelsiz algoritmaların hesaplama talepleri -özellikle derin sinir ağları kullananlar - gömülü sistemlerde veya yüksek frekanslı kontrol döngülerde, inference, ağ pruning, niceleştirme ve donanım hızlandırma (e.g., using deep micro-off: Bazı uygulamalar için, sanal sistemler veya lineer işlev gibi hafif mimariler gerçek zamanlı olarak iyi performans elde etmek için yeterlidir.

Gelişmiş Hibrit Yaklaşımlar

Model tabanlı ve modelsiz yöntemlerin güçlerini bir araya getirmek için, araştırmacılar hibrit mimarileri geliştirdiler. Örneğin, bir model tabanlı bileşen ön kontrol eylemleri oluşturabilir veya modelden öğrenilen bir bileşen modelleme veya düzeltme için doğru öğrenir.Bu yaklaşımlar genellikle daha hızlı öğrenme ve daha iyi bir son performanstır.

Model-Free Optimal Kontrol Uygulamaları

Modelsiz yaklaşımların yanlışlığı, birçok endüstride kabul edilmeye yol açtı. Aşağıda gerçek dünya uygulamaları örnekleri genişletiliyor.

Özerk Araçlar ve Drones

Tahmin edilemez trafikte çalışan, hava durumu veya kaba arazide çalışan Özerk araçlar, modelsiz kontrolden büyük ölçüde faydalanıyor. RL algoritmaları kamera girişlerinden son derece sürüş politikalarına alışkın, araçların eğitim sırasında açıkça karşılaşılabilmesine izin veriyor.Karotorssif kontrol kullanarak, ormanlar aracılığıyla uçmak veya modelleme olmadan değişiklikler yapmak gibi dinamik ortamlarda çevikliği gösterdi.

Robotik olmayan Ortamlarda

Robotik manipülatörler bilinmeyen nesneleri kavramak, değişken koşullarda toplanmak veya sınırsız zemin kullanımı modelsiz yöntemleri gerçek zamanlı olarak adapte etmek için kullanmaya karar verdi. Evrimsel algoritmaların bacaklı robotlar için gelişmiş bir şekilde başarı bulduğunda, RL yüksek boyutlu dokunuş algılamayı sağlarken, modelsiz kontrolde robotların geometride aşınmasına veya değişikliklere rağmen hassas tutmalarına izin verir.

Enerji ve Güç Sistemleri

Akıllı şebekeler ve mikrogridlerde, yenilenebilir nesil dinamik doğası ve yük talep, ADP gibi modelsiz optimal kontrol çekici hale getirir. ADP gibi algoritmalar batarya depolamayı, güç akışını optimize etmek ve gerçek zamanlı olarak frekansları stabilize etmek için uygulanır. Rüzgar türbini kontrol ve bina HVAC sistemleri de ayrıntılı termal veya aerodinamik modeller gerektirmeden enerji verimliliğini artırmak için akıllı bir modelsiz stratejilerden yararlanır.

Süreç Kontrol ve Kimyasal Mühendislik

Kimyasal süreçler genellikle ilk prensiplerden modellemek zor olan doğrusal olmayan, zaman-varying davranışı sergilemektedir. Modelsiz kontrol reaktör sıcaklık kontrolü, distillation column optimizasyonu ve polimer kalitesi kontrolü için kullanılmıştır. Bu uygulamalar işlem verileri öğrenmek ve indüksiyon varyasyonlarına adapte olmak için modellemek için modellemek için ücretsiz yöntemlerden yararlanmaktadır.

Future Yol

Modelsiz optimal kontrol alanı hızla gelişmektedir.Birvenues, çok-ajanlı sistemlerde modellemek için kararların sağlam hale getirilmesi ve yaşam boyu adaptasyon için online öğrenme alanı, sürekli durum-action alanlarda güvenlik ve yakınlaşma için teorik garantiler geliştirirken, bir diğer sınır, kontrol mühendisinin aracında standart bir araç haline gelecektir.

Daha fazla okuma için, bkz.FLT:0)Wikipedia'nın modelsiz kontrole genel bakışı), aurFLT:2) drone kontrolü için takviyeli araştırma makalesi) ve [[Dönetici programlama teknikleri).