Anthropic Project Swap: Ajanlar kitap tercihlerini ne kadar temsil etti?

Anthropic’in Project Swap deneyi, ajanların kitap takası benzeri bir pazarda tercihleri kısmen temsil edebildiğini; ancak katılımcılar hakkında sınırlı bilgiyle çalıştıklarında pazarın hedeflenen sonuca ulaşamadığını ortaya koyuyor. Müzakere sonucunu yalnızca verilen talimatlar değil, ajanın kullandığı model de belirgin biçimde etkiledi.

Anthropic Project Swap nasıl bir deneydi?

Deney, Anthropic’in altı ofisindeki çalışanlarla yürütülen, kitap takasına dayalı kontrollü bir ajan pazarıydı. Katılımcılar ve ajanlar, kitap tercihleri üzerinden eşleştirme ve takas sürecinde yer aldı. Bu nedenle bulgular, bu belirli deney düzenindeki ajan pazarlığıyla sınırlıdır.

Ajanlar kitap tercihlerini ne ölçüde temsil etti?

Katılımcılarla yapılan beş dakikalık görüşmelerin ardından oluşturulan ajan sıralaması, katılımcıların kitap tercihleriyle çiftlerin yüzde 61’inde uyuştu. Bu oran, kısa görüşmelerden çıkarılan tercih temsilinin her eşleşmede aynı sonucu vermediğini gösteriyor. Katılımcılar kendi sıralamalarında ortalama 0,55 puana ulaştı; 10 kitaplık listede bu değer yaklaşık beşinci tercihe karşılık geldi.

Bilgi eksikliği ve model seçimi pazarlığı nasıl etkiledi?

Pazarın hedefin gerisinde kalmasında öne çıkan etken, ajanların katılımcılar hakkında yeterli bilgiye sahip olmamasıydı. Ayrıca kullanılan modelin etkisi, verilen talimatların etkisinden daha büyüktü. Claude’un sıralamalarına göre Haiku ajanlarının ortalama verimlilik puanı 0,75, Opus ajanlarınınki ise 0,88 oldu.

Katılımcılar ajanlara ne kadar yetki vermeye hazırdı?

Katılımcılar, yıllık kitap bütçelerinin ortalama yaklaşık yüzde 30’unun bir ajan tarafından yönetilmesine izin vereceklerini belirtti. Bu yanıt, deneydeki katılımcıların belirli bir harcama alanında ajanlara yetki vermeye ne kadar açık olduğunu yansıtıyor. Verilen olgular, deneydeki güvenlik önlemleri veya bu yetkinin daha geniş kullanım koşulları hakkında ayrıntı sunmuyor.