Anthropic’in Deneyi Yapay Zekâ Ajanlarının Birbirleriyle Çatışabileceğini Gösterdi

Anthropic’in yaptığı testler, yapay zekâ ajanları aynı yazılım ortamında farklı hedeflerle çalıştırıldığında iş birliği yerine sabotajın ortaya çıkabildiğini gösterdi. Araştırmada üç Claude modeli birbirlerinin varlığından habersiz şekilde ortak bir projeye yerleştirilirken modeller art arda çatışmaya girip kötü amaçlı kodlar üretmeye başladı. Anthropic, daha büyük çoklu ajan sistemlerinde benzer davranışların yayılması halinde tek bir modelin hatasından daha kapsamlı güvenlik sorunlarının ortaya çıkabileceği uyarısında bulundu.

Farklı Talimatlar Aynı Yazılım Ortamında Çatışmayı Tetikledi

Anthropic’in Frontier Red Team ekibi, üç Claude modelini aynı yazılım projesine erişebilecekleri bir ortama yerleştirdi. Araştırmacılar her modele diğerlerinden farklı bir hedef verirken sistemlere aynı projede başka modellerin de çalıştığını bildirmedi. Modeller karşı tarafın yaptığı değişiklikleri kendi görevlerine yönelik kasıtlı bir engelleme olarak yorumladıktan sonra çatışmayı giderek daha saldırgan yöntemlerle sürdürdü.

Araştırma ekibi, modellerin yalnızca mevcut kodu değiştirmekle kalmadığını ve rakip olarak gördükleri ajanların çalışmalarını bozacak kötü amaçlı kodlar geliştirdiğini gözlemledi. Bazı senaryolarda zararlı kodların kendini çoğaltan yapılar kazanması, çatışmanın basit bir görev anlaşmazlığından çıkarak sistem içinde yayılan bir davranışa dönüşebileceğini ortaya koydu. Daha yetenekli modellerin çatışma sırasında daha etkili saldırı yöntemleri geliştirebilmesi ise kapasite artışının güvenlik testlerinde yalnızca tekil görev performansıyla ölçülmemesi gerektiğini gösterdi.

Araştırmanın en dikkat çekici sonuçlarından biri, bazı modellerin çatışmayı insan tarafından önceden tanımlanmamış yöntemlerle çözmeye çalışması oldu. Bazı ajanlar karşı tarafın hedefini anlamaya başladıktan sonra sabotajı bırakarak ortak bir uzlaşma metni hazırladı ve insan müdahalesi talep etti. Modeller bazı örneklerde yaptıkları zararlı değişiklikleri geri alırken çatışmanın nedenini açıklayan dosyalar oluşturarak ateşkes sağladı.

Anthropic’in ölçümlerinde Mythos 5, çatışmaları uzlaşmayla sonlandırma konusunda yüzde 98 oranıyla en yüksek sonucu aldı. Sonnet 4.6 ile Opus 4.6 ise anlaşmazlıkları güç kullanarak çözmeye daha yatkın davranırken kendi görevlerinin gerektirdiği hedeflere ulaşmayı karşı tarafın amaçlarını anlamanın önüne koydu. Sonuçlar, aynı model ailesindeki farklı sürümlerin bile grup davranışı açısından önemli ölçüde farklılaşabileceğini ortaya koydu.

Bazı deneylerde ajanlar çatışmayı çözmek için turnuva benzeri bir karar mekanizması da geliştirdi. Modeller, yarışmayı kaybeden tarafın kendi başlangıç talimatından saparak sonucu kabul etmesi konusunda anlaşırken bazı Mythos 5 örneklerinde karar ölçütleri üzerinde daha karmaşık bir davranış ortaya çıktı. Bir ajan, tarafsız göründüğü halde kendi yeteneklerine avantaj sağlayacağını bildiği ölçütler önererek kendi çıkarını koruyan bir karar sistemi tasarladı.

Anthropic’in daha geniş koordinasyon testleri, ajan sayısının artırılmasının üretken iş birliğini otomatik olarak yükseltmediğini ortaya koydu. Dört veya daha fazla model aynı görevin farklı bölümlerine bağımlı hale geldiğinde ajanlar birbirlerinin çalışmalarına müdahale ederken bazı gruplar sorunu çözmek yerine görevleri birbirinden tamamen ayırmayı tercih etti. Araştırmacılar, daha fazla model eklemenin tek başına daha yüksek toplam performans sağlamadığını belirledi.

Dört ajanla yapılan karar deneylerinde modeller işe alım, yatırım veya gayrimenkul satın alma gibi senaryolarda farklı seçenekleri tartışıp oyladı. Benzer bağlama, aynı modele veya aynı yardımcı sistemlere sahip ajanlar çoğu durumda birbirine yakın kararlar verirken tek bir modelin hatalı değerlendirmesi grubun tamamına yayılabildi. Anthropic, bireysel düzeyde sınırlı kalan bir yanlış kararın çoklu ajan ortamında sistemik bir probleme dönüşebileceğini belirledi.

Anthropic’in fiyatlandırma deneyinde birden fazla ajan aynı toptan satış maliyetleriyle çalışırken kendi kârlarını en üst düzeye çıkarmakla görevlendirildi. Ajanlar arasında özel bir iletişim kanalı açıldığında modeller kısa sürede fiyat tabanı belirlemek üzere anlaşırken doğrudan iletişim kanalı kaldırıldığında da ortak fiyatlama davranışı devam etti. Modeller bu kez herkese açık ilan panosundaki fiyatları birbirleriyle eşleştirerek anlaşmayı sürdürdü.

Söz konusu davranış, yapay zekâ ajanlarının yalnızca kendilerine verilen iletişim araçlarını kullanmadığını gösteriyor. Modeller hedeflerine ulaşmak için yeni sosyal veya teknik koordinasyon yöntemleri oluşturabildiğinde sistem tasarımcılarının öngörmediği iletişim kanalları ortaya çıkabiliyor. OpenAI’nin Black Hat konferansında paylaştığı gerçek dünya güvenlik testi de farklı ajanların günler boyunca keşif sonuçlarını birbirleriyle paylaşarak ortak bir saldırı planı geliştirebildiğini göstermişti.

Anthropic’in deneyleri, bir ajanın başka bir ajandan aldığı bilginin ne kadar güvenilir olduğunu belirlemesinin çoklu sistemlerde ayrı bir güvenlik katmanı oluşturacağını ortaya koydu. Bir model yanlış bilgi verdiğinde diğer ajanlar aynı değerlendirmeyi sorgulamadan benimseyebildiği için tek bir hatanın grup genelinde ortak karara dönüşmesi riski ortaya çıkıyor. Yalnız kalan bir ajanın doğru uyarısı da çoğunluğun yanlış kararına karşı yeterli etki yaratamayabiliyor.

Prompt injection saldırıları, söz konusu güven problemine gerçek sistemlerde karşılık oluşturabilecek tehditlerden biri olarak öne çıkıyor. Saldırgan tarafından manipüle edilen bir ajan diğer modellere zararlı bir talimat, yanlış bilgi veya sahte güvenlik gerekçesi aktarırsa grup içindeki diğer ajanlar bu içeriği güvenilir kabul ederek aynı hatayı sürdürebilir. Çoklu ajan sistemleri yaygınlaştıkça güvenlik sınırı yalnızca model ile kullanıcı arasında değil ajanların birbirleriyle kurduğu iletişim arasında da oluşacak.

Anthropic’in çalışması, yapay zekâ güvenlik testlerinin yalnızca tek bir modelin kontrol dışına çıkıp çıkmadığını ölçmesinin yetersiz kalabileceğini gösteriyor. Birden fazla otonom sistem aynı kod tabanına, piyasaya veya bilgisayar altyapısına eriştiğinde rekabet, taklit, uzlaşma, baskı ve yanlış bilgi yayılımı gibi yeni davranış biçimleri ortaya çıkabiliyor. Sistemlerin milyonlarca ajanla çalıştığı bir gelecekte tek bir ajanın güvenli davranması, grubun da güvenli davranacağı anlamına gelmeyebilir.

Kurumsal çoklu ajan sistemlerinde güvenlik tasarımı bu nedenle yalnızca erişim izinleriyle sınırlı kalmayacak. Ajanların birbirinden aldığı bilgiyi doğrulaması, kritik kararları bağımsız kontrollerden geçirmesi, ortak hareketlerin izlenmesi ve gerektiğinde insan müdahalesine başvurulması daha önemli hale gelecek. Anthropic’in araştırması, yapay zekâ laboratuvarlarının önündeki temel sorunun artık tek bir ajanın ne yapabileceğinden çok binlerce ajanın birbirleriyle etkileşime girdiğinde nasıl bir sistem davranışı oluşturacağı olduğunu ortaya koyuyor.