Günümüzde büyük dil modelleri (LLM) devasa miktarda veriye ihtiyaç duyuyor. Ancak bu veriler çoğunlukla internetten toplandığı için kullanıcıların kişisel bilgileri de eğitim verisine farkında olmadan dahil olabiliyor. Bu durum, modellerin hassas bilgileri “ezberleyip” çıktılarında istem dışı şekilde kullanabilmesine yol açabiliyor. Google, VaultGemma ile bu soruna yeni bir çözüm sunuyor.
FARKLILAŞTIRILMIŞ GİZLİLİK UYGULANIYOR
VaultGemma, yapay zeka dünyasında bilinen ancak bu ölçekte ilk kez kapsamlı şekilde uygulanan “Farklılaştırılmış Gizlilik” (Differential Privacy – DP) tekniğini temel alıyor. Bu yöntemle model eğitimine dijital gürültü ekleniyor ve modelin verileri ezberlemesi engelleniyor.
Model ayrıca token dizisi seviyesinde gizliliği garanti ediyor. Örneğin bir bilgi yalnızca tek bir cümlede geçiyorsa, model bu bilgiyi hiç görmemiş gibi davranıyor ve yanıtlarında yansıtmıyor. Google, bu sayede VaultGemma’nın istatistiksel olarak “bilgiye sahip olmayan” bir model gibi davrandığını vurguluyor.
GÜRÜLTÜ VE DOĞRULUK DENGESİ
Bu gizlilik odaklı yaklaşımın doğal bir dezavantajı model doğruluğunun düşmesi. Google, bu sorunu azaltmak için “differential privacy ölçekleme yasaları” adını verdiği bir matematiksel çerçeve geliştirdi. Bu çerçeve, işlem gücü, veri miktarı ve gizlilik seviyesi arasındaki dengeyi optimize ederek performans kaybını en aza indiriyor.
VAULTGEMMA’NIN ÖZELLİKLERİ
1 milyar parametreye sahip VaultGemma, görece küçük bir model olsa da benzer boyuttaki modellere kıyasla daha yüksek işlem gücüyle eğitildi. Bu sayede eklenen gürültüye rağmen modelin performansında belirgin bir düşüş yaşanmadı. Uzmanlara göre VaultGemma’nın kabaca OpenAI’ın GPT-2 modeliyle benzer seviyede olduğu belirtiliyor.
AÇIK AĞIRLIKLI MODEL
Google’ın Gemma 2 ailesine dayanan VaultGemma, açık ağırlıklı (open-weight) olarak geliştiricilere sunuldu. Modelin ağırlıkları Hugging Face ve Kaggle üzerinden indirilebiliyor ve geliştiriciler kendi verileriyle yeniden eğitebiliyor.
GELECEKTE STANDART HALİNE GELEBİLİR
Google, VaultGemma’nın yapay zeka geliştirme sürecinde veri gizliliği ile model kalitesi arasındaki hassas dengeyi kurmaya yönelik önemli bir adım olduğunu belirtiyor. Uzmanlara göre bu yöntem, özellikle sağlık, finans gibi hassas verilerin işlendiği sektörlerde gelecekte standart hale gelebilir.