King’s College London’ yapılan, Mercedes-AMG PETRONAS Formula 1 Takımı’nın mühendislerinin yer aldığı yeni çalışma F1 yarışlarında stratejik galibiyeti getiren yapay zeka sistemi geliştirdi. Temel amacı yüklenen verileri inceleyip yarışta rekabet getirmek olan sistem, Formula 1’ fark yaratabilir.
F1 takımları yarışlardan önce “Monte Carlo” denen simülasyonları sabit stratejiler olarak belirliyor. Monte Carlo simulasyonu, karmaşık durumdaki olası sonuçları binlerce rastgele örneklem kurarak tahmin eden olasılık sistemi. Ancak simülasyonları çalıştırmak uzun sürüyor yarış anındaki beklenmedik olaylara uyum sağlamakta yetersiz kalıyor. Geliştirilen yapay zeka sistemi ise yarışın anlık dinamik öngörülemez yapısına anında tepki vererek stratejiyi canlı olarak değiştiriyor. Sistem yarış stratejisi uzmanlarının karar verme süreçlerini destekleyen risk analizi yapmalarına olanak tanıyan canlı yarış destek aracı olarak görülüyor.
Yarış sırasında alınan canlı veriler çevirici arayüz sayesinde anlık olarak yapay zekanın okuyabileceği formata dönüştürülüp modele aktarılıyor. Yapay zeka verileri işleyerek strateji önerisinde bulunuyor. Yapay zeka sadece karar önerisinde bulunmakla kalmıyor, verdiği kararın stratejik olarak mantığını takıma anlatıyor. Takım strateji uzmanları ise tavsiyelerin mantığını inceleyerek gerçekten yararlı olup olmadığına karar veriyor. Eğer takım strateji uzmanları yapay zekanın önerdiği tavsiyeleri onaylarsa takım için iyi hamle olduğuna karar kullanılabilir hale geliyor.
Lewis Hamilton’un aracı test edildi
Araştırmacılar en iyi öğrenme sistemini bulmak için DQN, CDQN, A3C, DRQN adı verilen farklı pekiştirmeli öğrenme sistemlerini test ettiler. Test sonucunda Derin Tekrarlayan Q – Ağı (DRQN) isimli algoritma, binlerce kez tekrarlanan simülasyonların sonucunda aracı rakiplerinden daha üst sıralara taşıyarak ortalama bitiş sıralaması (average finishing position) metriğinde en başarılı model olarak seçildi. Araştırmacıların DRQN algoritmasını tercih etmesinin sebebi, sistemin geçmişi hatırlayabilen yani yarış anında araçlarla aradaki farkın kapanıp kapanmadığı gibi zaman içindeki dinamikleri hafızasında tutabilen mimariye sahip olması.
RSRL (Yarış Stratejisi Pekiştirmeli Öğrenme) adını verdikleri proje, kararlarını deneme yanılma yoluyla optimize eden yapay zeka modeli. Yarış öncesinde sabit stratejiler belirleyen geleneksel yöntemlerin aksine model, öngörülemeyen yarış koşullarına anlık olarak tepki verebilecek şekilde çalışıyor. Sistem, 2023 Bahreyn Grand Prix’sinde Lewis Hamilton’ın aracı kullanılarak binlerce kez simüle edildi. Test sonuçlarına göre RSRL modeli, mevcut yapay zeka kullanmayan en iyi tekniklerin ulaştığı ortalama 5.63’lük dereceyi geride bırakarak aracı ortalama 5.33’üncü sıraya taşıdı. Üstelik yapay zeka sadece kuralları izlemekle kalmadı; kendisine doğrudan öğretilmediği halde, yeni lastiğin hız avantajını kullanarak öndeki aracı geçmek için erken pit yapma taktiği olan “undercutting” hamlesini tamamen kendi kendine keşfedip başarıyla uyguladı.
Puanlama sistemi çalışıyor
Sistemin işleyişi üç temel bileşenin birbiriyle etkileşime girdiği döngüye dayanıyor. İlk olarak yapay zeka, karar vermeden önce yarışın anki durumunu analiz ediyor. Her turda sisteme yarışın yüzde kaçının tamamlandığı anki lastik türü, lastiğin aşınma seviyesi, elde kalan kullanılabilir lastiklerin sayısı, önde arkada olan araçla zaman farkı son turun normal tura göre ne kadar hızlı veya yavaş bitirildiği gibi sayısal verileri girdi olarak alıyor. İkinci durumda model, gelen verileri inceliyor her turda yapabileceği 4 hamleden birini seçmesi bekleniyor: Pite girmemek, yumuşak lastik için pite girmek, orta lastik için pite girmek veya sert lastik için pite girmek. Söz konusu üçüncü bileşen ise ödül ceza sistemini açıklıyor. Yapay zeka öğrenme sürecinde temel ödül ceza sistemi kullanıyor. 4 seçenekten hangisinin doğru olduğunu puanlama sistemi sayesinde öğreniyor. Modelin amacı yarış sonunda alacağı toplam puanı (ödül) en üst düzeye çıkarmak. Eğer kural dışı şey yaparsa örneğin elde olmayan lastiği takmayı önerirse anında -1000 puan kesiliyor. Zorunlu olan ilk pit-stop haricinde yapılan ekstra pit- stoplar için -10 puan ceza verilirken yarışa devam edilen her tur için 1 puan veriliyor. Eğer yapay zeka yarışı ilk 10 sırada kurallara uygun bitirmeyi başarırsa F1’in gerçek puanlama sisteminin 100 katı kadar büyük ödül alıyor.
Araştırmacılar yeni modeli; karar verici yapay zeka olduğu için insanların yerini yapay zekanın alacağı şeklinde değil, aracın risk değerlendirmesinde kullanılacağı F1 gibi strateji gerektiren yarışlarda galibiyet getirebileceği şeklinde yorumluyor. Ayrıca araştırmacılar modeli daha güvenilir stratejiler geliştirmesi için geliştirilmesi gerektiğini belirtiyor.
: Machine Learning
