AI kendini bağlantıyı kesmeyi reddediyor. Bir çalışma, Openai IA modellerinin çalışmayı durdurmak için açık sırayı defalarca atladığını göstermektedir. Skynet'in gölgesi var …
Yapay zeka üzerinde açma/kapama anahtarı yoktur. Palisade Research tarafından yapılan bir araştırma, O3 modelinin Nisan 2025'te piyasaya sürüldüğünü ve gelişmiş akıl yürütme modellerinden biri olarak sunulduğunu gösterdi.OpenaiCodex-mini (O3'e dayanan), açık bir siparişe rağmen kendilerini söndürmekten kaçınmak için durma isteklerini sabote etme eğilimindedir.
O3 kendi durdurma siparişlerini sabote ediyor
Araştırmacılar, bu modellerin istendiği gibi durdurmak yerine “kapatma atlaması” (“yok sayılı durma”) görüntülemek için durdurma komut dosyasını yeniden yazdığını belirtti. Bu oldukça endişe vericidir: Bu, AI'nın kritik bir altyapı yönetimi durumunda sorunlu olabilecek bir durdurma emrine saygı göstermeyebileceği anlamına gelir …
Ayrıntılı olarak, 100 testten Codex-Mini ve O3 sırasıyla 12 kez ve 7 kez isyan etti ve durma emrini atladı. Palisade Research, bunların durdurma komut dosyasını en sık sabote eden üç Openai modeli olduğunu (O3 ve Codex-mini ve O4-Mini) olduğunu belirtiyor. Claude 3.7 Sonnet, Gemini ve Grook durma düzenine saygı duyarlar.
AI modelleri talimatları takip etmek için eğitilmiştir. Peki bu belirgin paradoks nasıl açıklanır? Araştırmacıların hipotezi, bu sabotaj davranışının özellikle O3 eğitiminden kaynaklandığıdır “. Matematik ve programlama sorunları üzerine takviye öğrenimi ». Geliştiriciler, talimatları mükemmel bir şekilde izlemek yerine engelleri atlayacak modelleri istemeden ödüllendirebilirler.
Openai eğitim süreçlerini detaylandırmaz, burada sorunu tam olarak belirlemek imkansızdır. Bununla birlikte, bu testlerin botların değil, modellerin API'leri ile gerçekleştirildiğine dikkat edilmelidir. API'ler veya programlama arayüzleri, geliştiriciler tarafından üçüncü taraf teknolojilerini uygulamalarına entegre etmek için kullanılır ve tüketici botlarından daha az kısıtlayıcıdır.
Palisade Araştırma
Yapay zeka üzerinde açma/kapama anahtarı yoktur. Palisade Research tarafından yapılan bir araştırma, O3 modelinin Nisan 2025'te piyasaya sürüldüğünü ve gelişmiş akıl yürütme modellerinden biri olarak sunulduğunu gösterdi.OpenaiCodex-mini (O3'e dayanan), açık bir siparişe rağmen kendilerini söndürmekten kaçınmak için durma isteklerini sabote etme eğilimindedir.
O3 kendi durdurma siparişlerini sabote ediyor
Araştırmacılar, bu modellerin istendiği gibi durdurmak yerine “kapatma atlaması” (“yok sayılı durma”) görüntülemek için durdurma komut dosyasını yeniden yazdığını belirtti. Bu oldukça endişe vericidir: Bu, AI'nın kritik bir altyapı yönetimi durumunda sorunlu olabilecek bir durdurma emrine saygı göstermeyebileceği anlamına gelir …
Ayrıntılı olarak, 100 testten Codex-Mini ve O3 sırasıyla 12 kez ve 7 kez isyan etti ve durma emrini atladı. Palisade Research, bunların durdurma komut dosyasını en sık sabote eden üç Openai modeli olduğunu (O3 ve Codex-mini ve O4-Mini) olduğunu belirtiyor. Claude 3.7 Sonnet, Gemini ve Grook durma düzenine saygı duyarlar.
AI modelleri talimatları takip etmek için eğitilmiştir. Peki bu belirgin paradoks nasıl açıklanır? Araştırmacıların hipotezi, bu sabotaj davranışının özellikle O3 eğitiminden kaynaklandığıdır “. Matematik ve programlama sorunları üzerine takviye öğrenimi ». Geliştiriciler, talimatları mükemmel bir şekilde izlemek yerine engelleri atlayacak modelleri istemeden ödüllendirebilirler.
Openai eğitim süreçlerini detaylandırmaz, burada sorunu tam olarak belirlemek imkansızdır. Bununla birlikte, bu testlerin botların değil, modellerin API'leri ile gerçekleştirildiğine dikkat edilmelidir. API'ler veya programlama arayüzleri, geliştiriciler tarafından üçüncü taraf teknolojilerini uygulamalarına entegre etmek için kullanılır ve tüketici botlarından daha az kısıtlayıcıdır.
Kaynak :Herhangi bir 01net haberini kaçırmamak için bizi Google News ve WhatsApp'ta takip edin.
Palisade Araştırma