Google‘ın Google Research ve Google Deepmind ekipleri, VaultGemma adlı yeni bir model tanıttı. Diferansiyel gizlilik büyük dil modeli (LLM) modeli olan VaultGemma, 1 milyar parametreli bir model olarak karşımıza çıkıyor. VaultGemma, Google’ın Gemma mimarisi üzerine inşa edildi. Bu noktada hassas verilerin sızmasını önlemek için gelişmiş matematiksel algoritmalar kullandığını belirtelim.
VaultGemma’nın işlevini daha detaylı bir şekilde antabilmek için öncelikle ayrımsal ya da diferansiyel gizlilik olarak tercüme edebileceğimiz differential privacy algoritmasından bahsetmekte fayda var. Veri paylaşımı sırasında gizliliği korumak için kullanılan bu matematiksal algoritma, tek bir bilginin dahil edilmesi veya hariç tutulmasının genel sonuçları önemli ölçüde etkilememesini sağlıyor. Bu süreç, veri kümesine kontrollü gürültü ekleyerek gerçekleştiriliyor. Böylece herkesin veri kümesindeki belirli bilgileri tanımlaması zorlaştırılıyor.
Aslında söz konusu tekniğin, hassas bilgileri korumak için uzun süredir düzenlemelere tabi sektörlerde kullanılmakta olduğunu belirtelim. Yapay zeka gizliliği için de büyük bir potansiyele sahip olsa da, bunu büyük dil modellerine (LLM) uygulamak zorlu bir süreç olarak ortaya çıkmaktaydı. Diferansiyel gizlilik tekniğinin, modellere uygulanması aynı zamanda modellerin kararlılığı ve verimliliğinde ödünler verilmesine yol açtı. VaultGemma ise tam olarak bu sorunları aşmak için tasarlandı. VaultGemma, performans kaybı olmadan diferansiyel gizliliğin kullanılmasını sağlıyor.
Google Research ve Google DeepMind araştırmacılarının cuma günü paylaştığı blog gönderisine göre, araştırma ekibi, diferansiyel gizlilik eğitiminde kaçınılmaz olan hesaplama-gizlilik-kullanım ödünlerini ortadan kaldırmaya odaklandı. Paylaşılan bilgilere göre; hesaplama kaynakları ve veri boyutuna dayalı olarak yapay zeka modelinin performansını tahmin eden geleneksel ölçeklendirme yasaları, diferansiyel gizlilik uygulandığında geçerliliğini yitiriyordu. Bunun nedeni ise artan gürültü ve daha büyük parti boyutlarıydı. Araştırma ekibi, daha büyük ve daha yetenekli özel LLM’lerin geliştirilmesini sağlamak için bu faktörleri dikkate alan yeni ölçeklendirme yasaları tasarladı.
VaultGemma, hassas verileri hatırlamaması veya sızdırmaması için diferansiyel gizlilik çerçevesi kullanılarak sıfırdan eğitildi. Araştırmacıların belirttiğine göre; bu durum, finans ve sağlık gibi düzenlemelere tabi sektörlerdeki yapay zeka uygulamaları için ciddi sonuçlar doğurabilecek kritik bir özellik.
Google’ın MMLU ve Big-Bench gibi çeşitli benchmarklarda yaptığı değerlendirmelerde, VaultGemma, gizliliği feda etmeden, önceki diferansiyel gizlilik modellerini çok aşan, benzer sayıda parametreye sahip gizli olmayan LLM’lerle daha karşılaştırılabilir bir performans seviyesi sergiledi. VaultGemma, akıl yürütme ve soru cevaplama gibi görevlerde önceki gizli olmayan Gemma modellerinin yetenekleriyle rekabet etmenin yanı sıra, eğitim verilerini ifşa etme riskini de ortadan kaldırıyor.
Google’ın araştırması, diferansiyel gizliliğin, büyük dil modellerinin öğrenme dinamiklerini nasıl değiştirdiğini gösteriyor. Araştırmacıların, büyük parti boyutları kullanıması nedeniyle orata çıkan yüksek hesaplama maliyetlerini azaltmak için çeşitli çözümler bulduğunu da belirtelim.
Google araştırmacıları, VaultGemma’yı, ağırlıklarını ve kod tabanını Hugging Face ve Kaggle‘da açık kaynak lisansı altında kullanıma sundu. Araştırmacılar’ın ifadesine göre; Google’ın difarensiyel gizlilik için ölçeklendirme yasaları, çok daha büyük özel LLM’lere uygulanabilir. Buna potansiyel olarak trilyonlarca parametreye varan model büyüklükleri de dahil. İşletmelerin veri gizliliği endişeleri gündemde yerini alırken, VaultGemma’nın güvenli yapay zeka yeniliği ile yeni bir çözüm sunduğunu söylemek mümkün.
Kaynak: webrazzi
