OpenAI kendi modellerine saldıran hacker model geliştirdi: GPT-Red nedir?

GPT-Red, yapay zeka sistemlerini yanıltabilecek yöntemleri otomatik olarak araştırıyor. Model özellikle e-posta, internet sitesi veya dosyalara gizlenen komutlarla yapılan istem enjeksiyonu saldırılarına odaklanıyor. Bulunan açıklar, yeni modeller kullanıma sunulmadan önce kapatılıyor. İnsan ekiplerin yürüttüğü güvenlik testleri de devam ediyor.

Salt Okunur

MacBook’ta hata raporu görenler dikkat: Şifre isteyen uyarı zararlı yazılım olabilir

Saldırarak öğreniyor

GPT-Red, savunma amacıyla kullanılan farklı modellerle karşı karşıya getirilerek eğitildi. Başarılı saldırılar saldırı modelini, engellenen girişimler ise savunma modellerini geliştirdi. OpenAI şirketi bu eğitim sürecinde güvenlik çalışmaları için şimdiye kadarki en yüksek hesaplama kaynaklarından birini kullandığını belirtti.

GPT-Red

Model, yapay zekanın çalışma belleğine yanlış bilgi yerleştiren yeni bir yöntem de geliştirdi. Bu saldırıda sistem, daha önce doğruladığını düşündüğü hatalı bir bilgiyi doğru kabul ederek işlem yapabiliyor.

Fiziksel sistemde denendi

GPT-Red, OpenAI ofisindeki yapay zeka destekli bir otomat üzerinde de test edildi. Sistem ürün fiyatlarını değiştirdi, pahalı bir ürünü en düşük fiyat seviyesine indirdi ve bir müşterinin siparişini iptal etti. Tespit edilen açıkların ilgili geliştiriciye bildirildiği belirtildi.

GPT-Red

En güçlü saldırıların eski GPT-5 modelinde yüzde 90 üzerinde başarı sağladığı aktarıldı. GPT-5.6 modelinde ise bu oran yüzde 23 seviyesinin altında kaldı. OpenAI, GPT-Red modelinin uzun süren saldırılarda ve görsellere gizlenen komutlarda hâlâ sınırlı olduğunu belirtiyor.