Perception to Action: How Deep Learning Powers A Özerk Drone Flight

Özerk uçaklar, laboratuvar deneylerinin gerçek dünya uygulamaları tarım, lojistik, altyapı denetimi ve arama-ve-rescue'deki uygulamaları takip etti.Bir ikinci kattaki sinir bozucu, dinamik ve GPS-denied ortamlar, insan girişi olmadan karmaşık bir algılama hattına, planlamaya ve kontrole bağlıdır. Derin öğrenme, bu boru hattının merkezi ayağı haline geldiğinde, gelecek hava yollarını yorumlayabilme ve insansız sistemlerin kesilmesine olanak tanır.Bu makale, derin öğrenme tekniklerinin temelini inceler.

Gezilecek Derin Öğrenmenin Temelleri

Deep Learning, Drone Autonomy'a Getiriyor

Geleneksel navigasyon algoritmaları, engeli önlemek için el sanatları ve açık kurallara, yol planlamasına ve yerelleştirmeye güveniyor. Bu yaklaşımlar yapılandırılmış ortamlarda iyi çalışır, ancak gerçek dünya sahnelerinin varlığını ile mücadele eder - beklenmedik engeller ve yapılandırılmamış bir arazi. Derin öğrenme, farklı görsel girişlere doğrudan desenleri öğrenen esnek sinir ağları ile katı mantık değiştirir. Örneğin, bir güç hattı, bir ağaç kolu veya her türlü şekil için açıkça programlanmamış bir kuşu tanımayı öğrenebilir.

Derin öğrenme aynı zamanda birden fazla sensörden gelen verileri de takdir eder. Modern bir drone, stereo kameraları, LiDAR, ultrasonik aralıkları ve bir inersal ölçüm ünitesi (IMU) Bu heterojen girdileri bir araya getirebilir, bir sensör degradları geliştirir (örneğin, kamera glare veya LiDAR transfüzyonu fog'da).

Drone Navigation'da Anahtar Neural Network Architectures

Görsel Algıtma için Convolutional Neural Networks (CNNs)

CNNs, drone vizyonunun çalışmalarındandır. ResNet, YOLO gibi drone'ları tespit etmek ve sınıflandırmak için kamera çerçeveleri işlemektedir ve etkili bölgelerin gerçek zamanlı olarak engellenmesinden kaçınılabilir bölgeler için kullanılabilir.For engel kaçınılması, CNN tek bir görüntüden tam bir derinlik haritasını yazdırabilir, drone'un 15-20 $ /s gibi uzak mesafelere girmesine izin verir.

Recurrent Neural Networks (RNNs) ve Temporal Modeling

Navigation doğal olarak tutarlıdır - bir drone'nun kararları son gözlemlere ve geçmiş eylemlere bağlıdır. RNNs, özellikle LSTMs ve GRUs gibi modeller, bu zaman bağımlılıkları yakalamak. bir LSTM, her çerçevedeki gelecekteki boşluksal özellikleri tahmin edebilir (örneğin, bir kuş veya başka bir drone) bir pozisyon işlemeye bağlı olarak, planlayıcının onlara tepki vermek yerine çarpışmaları tahmin etmesine izin verebilir.Bazı sistemler CNN'leri LSTM ile birleştirir: CNN uzaysal özellikleri her çerçeveden alabilir ve LSTM modelleri, bu hibrit yaklaşımda nasıl değiştiğine göre değişir.

Adaptasyon Öğrenmesi Adaptive Control

Donmuş öğrenme (RL), açık insan protestoları gerektiren navigasyon politikalarına bir yol sunar. drone bir simülatörü (veya gerçek dünya) ile etkileşime girer ve istenen davranışlar için ödüller alır - doğrudan motor komutlarına ulaşır ve bu politikalara ulaşır.Bu politikalar, Proximal Policy Optimizasyonu (PPO) ve Soft Aktör-Critic (SAC) gibi basit bir şekilde geri dönüşlere doğru ilerlerken, ancak gerçek bir görüntüyü keşfedeceğiz.

Gezi Boru Hattında Derin Öğrenme

Özerk drone navigasyonu üç birbirine birbiriyle kırılabilir: algı, planlama ve kontrol. Derin öğrenme her aşamaya farklı bir şekilde dokunur ve bu rolleri anlamak en büyük kazanımlar ve sorunların nerede yalan söylediğini netleştirir.

Perception: Dünyayı Görmek

Alg tabakası, çevrenin bir gösterimini oluşturur. Derin öğrenme modelleri, bir orman aracılığıyla uçan bir "taraf", “ağaç”, “arkış”, vb.), nesne algılama (insanları, araçları, işaretleri), ve derinlik tahminleri. Örneğin, GPS'in güvenilmez bir şekilde kullandığı bir orman aracılığıyla uçmak için 3D noktası bulutu stereo kamera kameralardan çıkarmak için.Bu nokta bulut haritaları yerel bir olatıcı kontrol etmek için kullanır.

Data Fusion ve Uncertainty

Raw algılama çıktıları gürültülüdür. Derin öğrenme olasılıksal yorumlar sunar: tek bir derinlik değeri yerine, bir ağ derinlikleri üzerinde bir dağıtım yapabilir, planlayıcı bilgileri belirsizlik hakkında verir. belirsizlik yüksek olduğunda, drone yavaşlayabilir veya dikkatli bir şekilde uçabilir.Bu olasılıksal yaklaşım özellikle düşük ışık koşullarında veya ağır yağışlarda uçan zaman önemlidir, sensör gürültüsü dramatik bir şekilde artırır.

Planlama: Nereye gidecekleri

Bir algı modeli bir temsil inşa ettiğinde, bir plancı daha önce deneyimli bir hava akışı bulmak zorundadır. Daha sonra en düşük maliyetli yol boyunca planlamayı hızlandırabilir.Finanslı maliyet haritaları, çevredeki her hücreye ceza verir, daha yüksek cezalar ile ilgili boşluklar veya bölgelerde daha önceden deneyimli bir kanal hava akışı.Avangard tabanlı planlayıcısı, daha sonra en düşük maliyetli yol için en düşük maliyetli şekilde ayarlanabilir.Daha ileri yöntemler kullanarak, bir sonraki süre için bir adım adım adım adım adım adım adım atabilir.

Pratik bir örnek, dinamik ortamlarda yerel kaçınma için derin sinir ağları kullanımıdır.Bu yaklaşım, her seferinde bir engel ortaya çıkıyor, hafif bir CNN sınıfı engelin hareket kalıbını (örneğin, ayakta dur) belirtir ve yerel yörüngeyi uygun olarak ayarlar.

Kontrol: Moves'leri idam etmek

Düşük seviyeli tutum kontrolü (pitch, roll, yaw, it) genellikle klasik PID kontrolörlerini kullanıyor olsa da, kontrol döngüsünde derin öğrenme giderek daha fazla uygulanabilir. Neural ağ kontrolörleri karmaşık, doğrusal olmayan bir uçuş dinamiklerini öğrenebilir - yüksek hızda, yüzeysel olmayan etkiler, yüzeysel etkiler ve pervane bozulmaları kanıtlamaktadır - ve bunları telafi etmek için zor bir kontrol politikası, bu RL'leri kullanarak doğrudan doğrulayıcılar tarafından takip edebilir.

Gerçek Dünya Uygulamaları

Tarım ve Bitki İzleme

Derin öğrenme algoritmalarıyla donatılmış Özerk uçaklar geniş çiftlik alanları, drone'da çalışan ekin sağlıklarını ve zararlı infestasyonları tespit etti. navigasyon sistemi, yüksek çözünürlüklü görüntüyü yakalamaya çalışırken, sulama hatları ve işçiler için kullanılan bir CNN tabanlı engel algılama sistemi, insan pilotları olmadan bu tehlikelerin etrafında otomatik olarak yeniden düzenlenmesine yardımcı oluyor.

Altyapı Denetimi

Köprüler, rüzgar türbinleri ve güç hatları, bıçakların arkadan uzaklaştırılması için yakın çalışmalarını gerektirir; o zaman da haç, çatlaklar ve korozyon kılavuzları üzerinde eğitilmiştir.) Bu yetenekleri her ikisine de entegre eder. Örneğin, bir drone bir rüzgar türbinini denetim eder, bıçakların arkadan doğru ayarlandığında otomatik olarak ayarlandığında otomatik olarak görsel analizlere dayanan bir uçuş yollara uygular.

Arama ve Kurtarma

Felaket bölgelerinde, otonom dronelar sigara içme, toz ve akustik bulmak için yıkanmalıdır. Deep learning her iki navigasyon ve kurbanı algılama için kullanılır.Mantıklı sistemler, bu tür sistemlerin 20 dakika altında 2 km2 alan kapladığını, ısı imzalarını %90 doğrulukla tespit ederken.

Drones'da Derin Öğrenmeye Yönelik Zorluklar

C ⁇ Constraints

Bir drone'un gömülü bilgisayarındaki derin bir sinir ağı, enerji ve termal bütçelerin meydan okumasıdır. (Ce.g., NVIDIA Jetson Orin) 15–40 W, bu tekniklerle doğrudan motorlarla rekabet eden, birçok üretim aracının sabit bir yaklaşımla dengelenmesi gerekir: sabit bir şekilde sabit bir şekilde çalışır ve 32 bitimdeki mesafeyi tamamen ücretsiz olarak uygular ve Google Coral Edge Import veya Intel Movidius gibi uzman hızlandırır.

Eğitim Verileri ve Sim-to-Real Transfer

Derin öğrenme modelleri, büyük, çeşitli veri kümelerini genel olarak iyi bir şekilde toplamak için gerektirir. Gerçek dünya uçuş verilerini çeşitli engeller, aydınlatma koşulları ve hava pahalı ve zaman alıcıları gerektirir. Sonuç olarak, çoğu navigasyon modelleri öncelikle simülasyonda (havaSim, Gazebo veya True Engine gibi motorlar) ve daha sonra sınırlı gerçek verilerle açık hava dağılımı gösterir.

Güvenlik ve Sertifika

Deep sinir ağları genellikle “kara kutular” olarak görülüyor, kararların doğrulanması zor.Bazı çözümler, bilgisayar ağının çıkışı gibi karmaşık bir kontrol için, diğerlerinden çok uzak tutar.Diğerleri öğrenme bileşeninin esnekliği ile kontrol etmek için paralel olarak yorumlanabilir modelleri kullanır.

Future Yol Tarifi

Edge Computing ve On-Device Öğrenme

Bir sonraki sınır, drone'un kendisi üzerinde sürekli öğreniyor. Bir statik modeli asla adapte olmayan dağıtmak yerine, gelecekteki dronelar, yeni gözlemleri kullanarak sinir ağlarını orta ışık olarak güncelleyecekler.Bu on-device öğrenme, sensör sürüklenme, değişen çevresel koşullar veya donanım bozulmaları telafi edebilir. Federated learning approach allows a filo to share on-up the entire AI speed records.

Multimodal ve Self-Supervised Learning

Mevcut modeller etiketli verilere çok güveniyor - insan tarafından yönlendirilen görüntüler engelleri ve geri dönüşümlü alanları ile. Kendi denetimli öğrenme teknikleri, drone'un eğitim etiketleri üretme deneyiminden faydalanıyor. Örneğin, bir yere ulaşan bir drone, yolun hayal kırıklığına uğratıldığını doğrulamaktadır; sonuçlu kamera görüntüleri olumlu eğitim örnekleri haline gelir. Benzer şekilde, bir çarpışma meydana gelir (benki şokla test edilen), önceki görüntüler engel olarak etiketlenir.

Dijital Twins ile entegrasyon

Dijital ikiz teknoloji - bir drone'un gerçek zamanlı sanal bir kopyasını, ortamı ve misyonunu - fiziksel drone'ların gerçek verileri topladığı gibi daha güvenli bir test ve optimizasyonu sağlayacaktır.Seks, tarihsel sensör verileri, hava tahminleri ve güncel haritaları, drone'un uçuşlarını test etme, uçuş test süresini% 40 oranında azaltacak.

Seviye 5 Autonomy

Nihai hedef, herhangi bir insan müdahalesi olmadan günlerce çalışabilecek tamamen otonom drone filoları, eleme, navigasyon, veri toplama, iniş ve hatta yeniden şarj edilmesi. Bu seviyeye ulaşmak sadece derin öğrenme algoritmalarında değil, aynı zamanda sensör donanımlarında, batarya teknolojisi ve düzenleyici çerçevelerde de varacaktır.

Bu teknolojiler olgun olarak, şu anda insan pilotları için imkansız veya tehlikeli olan karmaşık görevleri yerine getirmek için, her tür bir deniz rüzgar çiftliğinde kritik tıbbi malzemeleri en yüksek şehirlere sunmak için, derin öğrenme ve özerk uçuşun füzyonu havada mümkün olan sınırlarını genişletmeye devam edebilir.