Google, OpenAI, Anthropic ve Microsoft, web sitelerinin yapay zekâ modellerinin eğitim verilerinin kullanılmaktan kaçınmak için basın bültenlerinde taahhüt verdikleri yeni bir robots.txt direktifini uygulamayı kabul etti. Yapay zekâ şirketleri milyonlarca web sayfasından otomatik olarak veri toplarken, yayıncılar ve telif sahipleri bu işleme karşı çıkıyordu; çünkü web sitelerinin yaratıcı içerikleri sıklıkla izinsiz bir şekilde bu modellerini eğitmek için kullanılıyordu. Bu çelişki, yapay zekâ üretim modelinin temel sorunlarından birine işaret ediyor: modelleri eğitmek için çoğu zaman sahibinin rızasını almadan başkasının yaratıcı çalışmasından yararlanıyordu. Anthropic teknik liderliğinde Kevin Kelley tarafından yazılan bu öneri, şu an Uluslararası İnternet Mühendisliği Görev Gücü (IETF) nezdinde değerlendiriliyor.
Şimdiye kadar web yöneticileri, yapay zekâ şirketlerinin veri toplamakta kullandığı farklı tarayıcıları (Google-Extended, OpenAI-Extended vb.) tanımlamak ve her sağlayıcı için ayrı ayrı kurallar eklemek zorunda kalmıştı. Yeni standart, bütün bu işlemi basitleştirerek tek bir ortak sinyal ile denetim olanağı sağlıyor. Özellikle Google'ın Google-Extended aracısı, Gemini modelleri için web verilerini toplama amacıyla çalışıyordu. Yeni sistem, bu tür eğitim amaçlı veri toplamanın daha şeffaf ve kontrollü bir şekilde yapılmasını hedefliyor. Site yöneticileri, bu yeni direktif sayesinde, arama motorlarında normal şekilde görülmeye devam ederken, verilerinin yapay zekâ modellerini eğitmek için kullanılmasını önleyebilecek.
Yeni kontrol mekanizması
Hazırlanan sistem, robots.txt dosyalarına yeni bir kullanıcı aracı direktifi ekliyor: User-Agent: __usage_ai-training ile beraber Disallow: / ya da Allow: /press-kit/ gibi seçenekler. Bu yöntemle site yöneticileri, arama motorları tarafından yapılan normal indekslemede sorun yaşamadan, yapay zekâ eğitimi için veri toplayan tarayıcıları engelleyebilecek. Standart, yayıncılara kendi verilerinin nasıl kullanılacağını kontrol etme hakkı veriyor.
Kevin Kelley'e göre standart henüz teknik tasarımda ve farklı kuruluşların önerilerine açık. Şu an IETF'deki tartışmaları izleniyor, son versiyonu yılın sonuna doğru görebiliriz. Önemli bir nokta: bu direktif gelecek taramaları engelleyebiliyor ama geçmişte toplandığı zaten veriye etki etmiyor. Yani daha öncesinde Google ya da diğer şirketler bir sitenin içeriğini eğitim için kullanmışsa, bu yeni kural geri alınamaz. Ayrıca yeni direktif, web sayfalarının arama sonuçlarında görünmesini hiçbir şekilde etkilemiyor; yalnızca yapay zekâ modellerinin eğitimi amacıyla verileri toplayan tarayıcıları hedefliyor.
Uygulama takvimi
Büyük yapay zekâ şirketleri farklı hızlarda hareket etme planı yapıyor. Anthropic, halihazırda bu direktifi destekleyen işaretleri robotlar için uygulamaya almış durumda. Microsoft ise 1 Şubat 2027 tarihinden itibaren desteği başlatacak. Google, 2027'nin başında uygulamaya geçmeyi hedefliyor. OpenAI ise "önümüzdeki aylarda" uygulayacağını taahhüt ederek kesin bir tarih vermemiş. Direktifin etkinliği, mümkün olan en erken zamanda bütün yapay zekâ şirketleri tarafından uygulanmasına bağlıdır. Geçmiş veriler geri alınamayacağı için, bu standart resmi olarak yürürlüğe girdikten sonra toplanacak veriler için koruma sağlayacak; ancak daha önceden eğitim verisi olarak kullanılan içerikler yine modellerde kalacak.
