Anthropic, Model Damıtma Savunmalarının İlk Sonuçlarını Açıkladı
Anthropic, Claude’a yönelik model damıtma saldırılarına karşı savunmalarının toplanan veriyi yüzde 90 ila 99, çıkarılan akıl yürütme belirteçlerini ise 10 ila 100 kat azalttığını bildirdi. Şirket ayrıca sınıflandırıcı sonuçlarını, hesap yasaklarını, test puanlarını ve belirli engellenen istekler için ücretlendirme değişikliğini açıkladı.
Bu yazıda
Anthropic, model damıtma saldırılarına karşı geliştirdiği yeni savunmaların, damıtıcıların topladığı veri miktarını yaklaşık yüzde 90 ila 99 azalttığını bildirdi. Şirket ayrıca, savunmalar devreye alındıktan sonra damıtıcıların çıkardığı akıl yürütme belirteçlerinin sayısının önceye kıyasla sürekli olarak 10 ila 100 kat düştüğünü belirtti.
Savunmaların ilk sonuçları
Anthropic’in aktardığı iki aşamalı sınıflandırıcı sisteminin yanlış pozitif oranı yüzde 0,1’in altında kaldı. Şirket, sistemin biyolojik silah yapımına yardımı önleyen korumalar kadar sağlam olduğunu söyledi. Damıtmayla ilişkilendirilen on binlerce hesabın da kampanyanın başlamasından çoğu zaman iki saat geçmeden yasaklandığı belirtildi.
Döküm türlerine göre test puanları
Şirketin paylaştığı değerlendirmede, tam akıl yürütme dökümleriyle eğitilen model SWE-bench Verified testinde yüzde 80,4 puan aldı. Özetlenmiş dökümlerle eğitilen modelin puanı ise yüzde 71,8 oldu. Bu sonuçlar, eğitimde kullanılan döküm türlerine göre aynı testte bildirilen puanları gösteriyor.
Claude kullanımında ücretlendirme ve geliştirme beklentisi
Anthropic, 24 Eylül’den bu yana Claude yanıt vermeden önce korumalar tarafından engellenen belirli istekler için ücretlendirmeyi yeniden başlattı. Şirket ayrıca, savunmalardaki kazanımların ne kadar süreceğini bilmediğini ve damıtma saldırılarına karşı korumaları zaman içinde geliştirmeyi beklediğini açıkladı.