Google, makine öğrenmesi modellerinin doğrudan internet tarayıcısında çalışmasını hızlandıran LiteRT.js adlı yeni JavaScript kütüphanesini kullanıma sundu. Şirket, yeni altyapının mevcut TensorFlow.js çözümüne kıyasla daha yüksek performans sunduğunu geliştiricilerin geçiş sürecini kolaylaştıracak şekilde tasarlandığını açıkladı. LiteRT.js, yapay zekâ işlemlerini sunucu yerine kullanıcının cihazında çalıştırarak gecikme süresini azaltmayı hedefliyor.
LiteRT Çalışma Ortamı İlk Kez Tarayıcılara TaşındıGoogle’ın bugüne kadar Android iOS platformlarında kullandığı LiteRT çalışma zamanı, yeni sürümle birlikte WebAssembly üzerinden internet tarayıcılarına açıldı. LiteRT.js, böylece masaüstü mobil tarayıcılarda yapay zekâ uygulamalarını yerel olarak çalıştırabiliyor. Tarayıcıda çalışan yapay zekâ modeli, verileri uzak sunucular yerine doğrudan cihaz üzerinde işlediği için daha düşük gecikme süresi daha güçlü gizlilik sağlayabiliyor.
Yeni kütüphane yalnızca WebAssembly sınırlı kalmıyor. Sistem, desteklenen platformlarda WebGPU WebNN teknolojilerinden yararlanarak donanım hızlandırmasını etkin biçimde kullanabiliyor. Donanım hızlandırma, işlem yükünün ekran kartı veya yapay zekâ hızlandırıcıları üzerinden gerçekleştirilmesini sağlayarak makine öğrenmesi uygulamalarının daha yüksek performansla çalışmasına katkı sunuyor.
Google, LiteRT.js’in JavaScript tabanlı çekirdek kullanan TensorFlow.js yerine daha verimli çalışan yeni mimari kullandığını belirtiyor. LiteRT.js performansı, WebAssembly tabanlı çalışma yapısı sayesinde mevcut çözümlere göre daha yüksek işlem kapasitesi sunmayı hedefliyor.
Şirketin tığı verilere göre yeni çalışma zamanı, 2024 model Apple MacBook Pro üzerinde bulunan M4 işlemcili sistemde mevcut çözümlere kıyasla üç kata kadar daha yüksek performans elde. Google, sonucun belirli donanım üzerinde yapılan testlere dayandığını özellikle vurguluyor. Tarayıcı motoru, işlemci mimarisi grafik donanımına bağlı olarak gerçek kullanım performansı farklılık gösterebilir.
Google, TensorFlow.js kullanan geliştiricilerin LiteRT.js’e geçişini kolaylaştıracak araçlar sunuyor. Mevcut projelerde tflite uzantılı modeller kullanan geliştiriciler, yalnızca JavaScript çalışma zamanını değiştirerek yeni altyapıya geçebiliyor. TensorFlow Lite modeli, mobil gömülü sistemler için optimize edilen hafif yapay zekâ model biçimini ifade ediyor.
TensorFlow veya Keras SavedModel formatındaki projeler için ise Python paketine entegre edilen LiteRT Converter aracı kullanılabiliyor. Dönüştürme işlemi tamamlandıktan sonra mevcut modeller LiteRT.js üzerinde çalıştırılabiliyor. yaklaşım, geliştiricilerin projelerini tamamen yeniden oluşturmadan yeni çalışma ortamına taşımasına olanak sağlıyor.
Google, TensorFlow.js için herhangi yol haritası değişikliği açıklamış değil. Ancak LiteRT.js’in tanıtılması, şirketin tarayıcı tabanlı yapay zekâ uygulamalarında daha performanslı altyapıya yöneldiğini gösteriyor. Tarayıcı tabanlı yapay zekâ uygulamaları, internet bağlantısına daha az bağımlı çalışabildiği için özellikle gizlilik odaklı çözümler gerçek zamanlı uygulamalarda önem kazanıyor.
Önümüzdeki dönemde LiteRT.js’in farklı işlemci mimarileri, Windows bilgisayarlar Android tabanlı cihazlarda nasıl performans göstereceği yakından takip edilecek. Google’ın ilerleyen süreçte TensorFlow.js yerine LiteRT.js’i ana geliştirme platformu hâline getirip getirmeyeceği ise şimdilik belirsizliğini koruyor.
