Cloudflare เพิ่มฟีเจอร์ใหม่สามารถบล็อกบอท AI หลังจากทำการสำรวจแล้วพบว่ามีลูกค้ากว่า 85% ไม่ต้องการให้ AI มาดูดข้อมูลของเว็บไป
บอทเหล่านี้ติดตามมาจาก robot.txt และไม่ได้รับอนุญาตให้ใช้เพื่อไปฝึกหรีอเรียกใช้งาน โดยห้ามเพียงบอทบางตัวเท่านั้น
ดังนั้น ทาง Cloudflare จึงสร้างฟีเจอร์นี้ขึ้นมาเพื่อบล็อกบอท AI ทั้งหมด ซึ่งทำได้โดยไปที่ หน้าแดชบอร์ด แล้วไปที่ Security > Bots แล้วไปตั้งค่าเปิดบล็อกบอทที่ AI Scrapers and Crawlwes
โดย Cloudflare จะติดตามดูว่าบอทเหล่านี้มาจากไหน และจะทำการบล็อกอัตโนมัติทันที
และจากการติดตามพบว่าบอทที่ดูดข้อมูลเว็บมากที่สุดคือ Bytespider รองลงมาคือ Amazonbot , ClaudeBot และ GPTBot ตามลำดับ
ในตอนนี้ผู้พัฒนาเว็บไซต์บางรายอาจยังไม่รู้ว่าเว็บตัวเองกำลังถูกดูดข้อมูลจากบอท AI ซึ่งจากข้อมูลของ Cloudflare เช็คพบว่าเว็บส่วนใหญ่ห้ามแค่บอทของ GPTBot , CCBot และ Google แต่ไม่ได้ห้าม Bytespider กับ ClaudeBot
ที่มา – Cloudflare