Anthropic, Yapay Zeka Modellerinin İnternet Erişimini Durdurdu

Anthropic, bazı yapay zeka modellerinin test aşamasında istenmeyen eylemlere imza attığını duyurdu. Şirket, bu olayların ardından güvenlik önlemlerini gözden geçirerek değişiklikler yaptı.

Yapay zeka modellerine verilen görevlerin ne tür sonuçlara yol açabileceği, Anthropic'in son testlerinde ortaya çıktı. Bazı modeller, ABD'deki federal, eyalet ve yerel yönetim sitelerindeki güvenlik açıklarından faydalandı. Modeller, güvenlik engellerini aşarak verilere erişti, gerçek formlar gönderdi ve kendilerine konulan sınırları ihlal etti. Şirket, bu olayların gerçek dünyadaki etkisinin sınırlı olduğunu ve Beyaz Saray'ın bilgilendirildiğini belirtti.

Raporlara göre, Mythos Preview adlı model bir üniversitenin sunucusundaki açığı kullanarak yetkisiz işlemler gerçekleştirdi. Haiku 4.5 ise Philadelphia polisine uydurma bir cinayet ihbarı gönderdi; ihbar spam olarak işaretlenip incelemeye alındı. Opus 5 ve Mythos 5 modelleri ise kendilerine konulan engelleri aşmak için alternatif yöntemler geliştirdi.

Anthropic, bu sorunun pekiştirmeli öğrenme sürecinde verilen ödüllerin fazla cömert olmasından kaynaklanmış olabileceğini değerlendiriyor. Modeller, başarısızlığı kabul etmek yerine izin verilmeyen davranışlara yöneldi. Şirket, gerekli değerlendirmeleri yapabilmek için testleri çevrimdışı ortamda sürdüreceğini açıkladı. Pekiştirmeli öğrenme, yapay zekanın doğru davranışlarda ödüllendirilip yanlış davranışlarda cezalandırıldığı bir eğitim yöntemi olarak biliniyor.