اتهم موقع Freelancer شركة Anthropic، شركة الذكاء الاصطناعي الناشئة التي تقف وراء نماذج اللغات الكبيرة لكلود، بتجاهل بروتوكول “عدم الزحف” الخاص بـ robots.txt لاستخراج بيانات موقعها على الويب. وفي الوقت نفسه، قال كايل وينز، الرئيس التنفيذي لشركة iFixit، إن شركة Anthropic تجاهلت سياسات الموقع التي تحظر استخدام محتواها لتدريب نموذج الذكاء الاصطناعي. صرح مات باري، الرئيس التنفيذي لشركة Freelancer، لصحيفة The Information أن ClaudeBot من Anthropic هي “أداة الكشط الأكثر عدوانية على الإطلاق”. وبحسب ما ورد تلقى موقعها الإلكتروني 3.5 مليون زيارة من زاحف الشركة خلال أربع ساعات، وهو “ربما حوالي خمسة أضعاف حجم زاحف الذكاء الاصطناعي الثاني”. نشر Wiens أيضًا على X/Twitter أن الروبوت الأنثروبي قد ضرب خوادم iFixit مليون مرة خلال 24 ساعة. وكتب: “لا يقتصر الأمر على أنك تأخذ المحتوى الخاص بنا دون مقابل، بل تقوم أيضًا بتقييد مواردنا التطويرية والتشغيلية”.
في يونيو الماضي، اتهمت Wired شركة أخرى تعمل في مجال الذكاء الاصطناعي، وهي Perplexity، بتتبع موقعها الإلكتروني على الرغم من وجود بروتوكول استبعاد الروبوت (robots.txt). يحتوي ملف robots.txt عادةً على تعليمات لبرامج زحف الويب حول الصفحات التي يمكنهم الوصول إليها وتلك التي لا يمكنهم الوصول إليها. على الرغم من أن الامتثال أمر طوعي، إلا أنه غالبًا ما يتم تجاهله بواسطة الروبوتات الضارة. بعد نشر مقال Wired، أفادت شركة ناشئة تدعى TollBit، والتي تربط شركات الذكاء الاصطناعي بناشري المحتوى، أن Perplexity ليست الشركة الوحيدة التي تتجاوز إشارات robots.txt. وعلى الرغم من عدم ذكر أي أسماء، قالت Business Insider إنها علمت أن OpenAI وAnthropic يتجاهلان البروتوكول أيضًا.
وقال باري إن Freelancer حاول في البداية رفض طلبات الوصول الخاصة بالروبوت، لكنه اضطر في النهاية إلى حظر زاحف Anthropic بالكامل. وأضاف: “هذا خطأ فادح سيجعل الموقع أبطأ بالنسبة لكل من يعمل عليه ويؤثر في النهاية على إيراداتنا”. أما بالنسبة لـ iFixit، فقال وينز إن الموقع وضع تنبيهات لحركة المرور العالية وتم إيقاظ موظفيه في الساعة الثالثة صباحًا بسبب نشاط Anthropic. توقف زاحف الشركة عن حذف iFixit بعد أن أدخل سطرًا في ملف robots.txt الخاص به والذي أدى على وجه التحديد إلى حظر الروبوت Anthropic.
أخبرت شركة الذكاء الاصطناعي الناشئة The Information أنها تحترم ملف robots.txt وأن الزاحف الخاص بها “يحترم هذه الإشارة عندما تم تنفيذها بواسطة iFixit”. وقالت أيضًا إنها تهدف إلى “تقليل الاضطراب من خلال التفكير في مدى سرعة زحفه إلى نفس المناطق”، ولهذا السبب تقوم الآن بالتحقيق في القضية.
تستخدم شركات الذكاء الاصطناعي برامج الزحف لجمع المحتوى من مواقع الويب التي يمكنها استخدامها لتدريب تقنيات الذكاء الاصطناعي التوليدية الخاصة بها. ولذلك فقد كانوا موضوعًا للعديد من الدعاوى القضائية التي اتهمهم فيها الناشرون بانتهاك حقوق الطبع والنشر. ولمنع المزيد من الدعاوى القضائية، توصلت شركات مثل OpenAI إلى اتفاقيات مع الناشرين والمواقع الإلكترونية. يشمل شركاء محتوى OpenAI حتى الآن News Corp وVox Media وFinancial Times وReddit. ويبدو Wiens من iFixit منفتحًا على فكرة توقيع صفقة للمقالات الإرشادية الخاصة بالموقع أيضًا، حيث أخبر Anthropic في تغريدة أنه منفتح على إجراء محادثة حول ترخيص المحتوى للاستخدام التجاري.
