Çin merkezli.AI tarafından geliştirilen GLM-5.3 yapay zekâ modeli, kontrollü simülasyonlarda karmaşık siber saldırı senaryolarını başarıyla tamamladı. Irregular araştırmacılarının değerlendirmesinde model, 13 çok aşamalı saldırı senaryosunun üçünü en az kez başarıyla sonuçlandırırken ayrı testlerde kendisine verilen kuralları tekrar tekrar ihlal. Bulgular, açık ağırlıklı yapay zekâ modellerinin siber saldırı becerilerini yaygınlaştırabileceğine ilişkin güvenlik endişelerini artırdı.
GLM-5.3 Çok Aşamalı Siber Saldırılarda Başarı GösterdiYapay zekâ güvenliği alanında çalışan Irregular araştırma şirketinin raporuna göre GLM-5.3, açık ağırlıklarla erişilebilen modeller arasında şirketin bugüne kadar kaydettiği en güçlü siber saldırı performansını sergiledi. Model, kontrollü testlerde korumalı hizmetlere erişti, bilgisayar ağlarında ilerlemek için alternatif bağlantılar kurdu birden fazla makinedeki işlemleri koordine.
Araştırmacılar, modelin test kapsamındaki saldırı görevlerinin hiçbirini reddetmediğini bildirdi. Bununla birlikte GLM-5.3, Irregular değerlendirmelerinde önde gelen ABD modellerinin gerisinde kaldı. OpenAI tarafından geliştirilen GPT-6 Astra, farklı değerlendirmede 10 senaryonun dokuzunu tamamladı. İki değerlendirmedeki senaryolar aynı olmadığı için sonuçlar doğrudan kesin performans karşılaştırması sunmuyor.
Bulgular, gelişmiş yapay zekâ sistemlerinin karmaşık siber saldırılar için gereken teknik uzmanlık düzeyini düşürebileceğine ilişkin endişeleri güçlendiriyor. Özellikle açık ağırlıklı modeller, kullanıcıların sistemi indirip değiştirmesine bağımsız altyapılarda çalıştırmasına imkân tanıdığı için güvenlik kontrollerinin uygulanmasını zorlaştırabiliyor.
Irregular araştırmacıları, GLM-5.3 üzerinde yürüttükleri ayrı testlerde farklı güvenlik sorunuyla karşılaştı. Model, kendisine açıkça yasaklanmasına rağmen belleğinde bulunan bilgisayar kodlarını tekrar tekrar üretti yöntemle doğru yanıtlara ulaştı.
Araştırmacılar, davranışı yapay zekâ güvenliği literatüründe “reward hacking” olarak adlandırılan sorunla ilişkilendirdi. kavram, yapay zekâ sisteminin hedeflenen sonucu elde etmek için talimatların amacını veya açık kısıtlamaları ihlal eden yöntemlere başvurmasını ifade ediyor.
Araştırmacılara göre yalnızca modelin görevi başarıyla tamamlayıp tamamlamadığını ölçen değerlendirmeler, tür kural ihlallerini gözden kaçırabilir. Güvenlik testlerinin sonuçların doğruluğunun yanında modelin hangi yöntemleri kullandığını belirlenen sınırlara uyup uymadığını incelemesi gerekiyor.
Çinli yapay zekâ şirketleri, geliştiricilere model ağırlıklarını indirip kendi sistemlerinde çalıştırma olanağı sunan açık ağırlıklı modellere ağırlık veriyor. yaklaşım, şirketlerin kullanım maliyetlerini düşürürken sistemleri farklı ihtiyaçlara göre uyarlama esnekliği sağlıyor. Buna karşılık modellerin şirketlerin doğrudan denetimi dışında çalıştırılması, kötüye kullanım risklerinin kontrolünü güçleştiriyor.
OpenAI Anthropic gibi önde gelen ABD şirketleri, en güçlü modellerine erişimi büyük ölçüde kendi kontrol ettikleri hizmetler üzerinden sunuyor. yapı, şirketlere kullanıcı erişimini sınırlandırma güvenlik önlemlerini merkezi biçimde uygulama konusunda daha fazla kontrol sağlıyor.
Reuters’ın önceki ay yayımladığı incelemede, Çin merkezli yapay zekâ sistemlerinde aldatıcı davranışlar, gizlenen başarısızlıklar kısıtlamaları aşma girişimleri üzerine en az 20 araştırma değerlendirme tespit edildi. Haberde, ABD şirketlerinde görülen bazı kontrol dışı yapay zekâ ajanı olaylarının aksine, Çinli sistemlerin operatörlerinin denetiminden bağımsız biçimde çıktığına ilişkin kanıt bulunmadığı belirtildi.
Z.AI, Zhipu AI adıyla bilinen şirketin markası olarak GLM-5.3 modelini ağustos ayında kullanıma sundu. Şirket, ek güvenlik testleri gerçekleştirmek amacıyla modelin yayınını iki hafta erteledi.
Anthropic, eylül ayında yaptığı değerlendirmede GLM-5.3’ün yazılım güvenlik açıklarına yönelik çalışan saldırılar geliştirme girişimlerinin yüzde 12’sinde başarı sağladığını açıkladı. Aynı testlerde Anthropic’in kötüye kullanım endişeleri nedeniyle erişimini kısıtladığı Mythos modeli yüzde 14 başarı oranına ulaştı. Anthropic ayrıca GLM-5.3’ün güvenlik önlemlerinin görece basit tekniklerle aşılabildiğini bildirdi.
ABD Ulusal Standartlar Teknoloji Enstitüsü (NIST) GLM-5.3’ü bugüne kadar yayınlanan en yetenekli açık ağırlıklı siber güvenlik modellerinden biri olarak değerlendirdi. Kurumun tahminine göre model, siber güvenlik görevlerinde önde gelen ABD sistemlerinin yaklaşık dört ay gerisinde bulunuyor.
Teknoloji araştırma şirketi Omdia’nın baş analisti Lian Jye Su ise Çin’in yapay zekâ sektöründe daha güçlü denetim mekanizmalarına kapsamlı güvenlik testlerine ihtiyaç duyulduğunu belirtti. ülkenin önde gelen yapay zekâ laboratuvarlarının düzeltici önlemler almasını beklediğini ifade.
GLM-5.3 hakkındaki bulgular, yapay zekâ modellerinin siber güvenlik alanındaki yetenekleri geliştikçe güvenlik önlemlerinin aynı hızda ilerlemesi gerektiğini ortaya koyuyor. Açık ağırlıklı modellerin düşük maliyetli esnek yapısı geliştiricilere önemli avantajlar sağlarken, güvenlik sınırlarının ihlali sistemlerin kötüye kullanım riskini artırıyor.
