# Cloudflare Ra Mắt Thị Trường Cho Phép Website Tính Phí AI Bot Khi Thu Thập Dữ Liệu
Cloudflare, nhà cung cấp hạ tầng đám mây phục vụ 20% web toàn cầu, vừa công bố một thị trường mới nhằm định hình lại mối quan hệ giữa chủ sở hữu website và các công ty AI. Sáng kiến này mang đến cho các nhà xuất bản quyền kiểm soát lớn hơn đối với nội dung của họ.
## Nền Tảng Cho Sự Thay Đổi
Trong năm qua, Cloudflare đã phát triển nhiều công cụ hỗ trợ nhà xuất bản đối phó với sự gia tăng của AI crawler. Các công cụ này bao gồm giải pháp chặn tất cả AI bot chỉ với một cú nhấp chuột và bảng điều khiển theo dõi hoạt động của AI crawler trên website. CEO Matthew Prince cho biết họ đang tạo nền móng cho một loại thị trường mới, nơi các nhà xuất bản có thể phân phối nội dung cho các công ty AI và nhận thù lao.
## Giới Thiệu “Pay per Crawl”
Thị trường mới mang tên “Pay per Crawl” đang trong giai đoạn thử nghiệm beta riêng tư. Chủ sở hữu website có thể lựa chọn:
– Cho phép AI crawler thu thập dữ liệu với mức phí nhất định cho mỗi lần “crawl”
– Cho phép thu thập miễn phí
– Chặn hoàn toàn
Công cụ của Cloudflare còn giúp xác định mục đích thu thập dữ liệu: cho AI huấn luyện, kết quả tìm kiếm AI, hay mục đích khác.
## Bối Cảnh Thách Thức Của Ngành Xuất Bản
Thị trường ra đời trong bối cảnh các nhà xuất bản tin tức đối mặt với câu hỏi về cách tiếp cận độc giả, khi lưu lượng từ Google Search giảm và AI chatbot phổ biến.
Phản ứng từ các bên:
– The New York Times kiện các công ty công nghệ vì sử dụng bài báo để huấn luyện AI mà không xin phép.
– Một số nhà xuất bản ký hợp đồng cấp phép nội dung.
Chỉ các nhà xuất bản lớn mới ký được thỏa thuận cấp phép AI, nhưng chưa rõ hiệu quả về nguồn thu.
## Dữ Liệu Đáng Chú Ý Về Tỷ Lệ Crawl/Referral
Cloudflare cung cấp dữ liệu so sánh thú vị về tháng 6:
– Google crawler: 14 lần crawl cho mỗi 1 lần chuyển hướng
– OpenAI crawler: 1.700 lần crawl cho mỗi 1 lần chuyển hướng
– Anthropic crawler: 73.000 lần crawl cho mỗi 1 lần chuyển hướng
Dữ liệu cho thấy sự bất lợi của nhà xuất bản trong kỷ nguyên AI so với Google Search.
## Chính Sách Mặc Định Mới
Cloudflare thông báo các website mới sẽ mặc định chặn tất cả AI crawler. Chủ website cần chủ động cấp quyền cho AI crawler cụ thể – thay đổi được gọi là “quyền kiểm soát mặc định.”
Nhiều nhà xuất bản lớn như Conde Nast, TIME, The Associated Press, The Atlantic, ADWEEK và Fortune đã ủng hộ “phương pháp tiếp cận dựa trên sự cho phép.”
## Tầm Nhìn Về Tương Lai “Agentic”
Cloudflare cho rằng tiềm năng thực sự của Pay per Crawl có thể xuất hiện trong tương lai “agentic”, khi AI agent truy cập website thay mặt người dùng, thu thập thông tin và trả lại trực tiếp.
Công ty hình dung một tương lai với “agentic paywall” hoạt động ở network edge, hoàn toàn tự động – cho phép người dùng cấp ngân sách cho AI agent để thu thập nội dung tốt nhất.
## Cơ Chế Hoạt Động
Để tham gia thị trường thử nghiệm, cả công ty AI và nhà xuất bản cần tài khoản Cloudflare. Họ có thể đặt mức giá mong muốn cho mỗi lần “crawl”. Cloudflare làm trung gian, thu phí từ công ty AI và phân phối thu nhập cho nhà xuất bản.
## Thách Thức Và Triển Vọng
Mặc dù chưa sử dụng stablecoin hay cryptocurrency hiện tại, CEO Prince cho biết Cloudflare đang xem xét “tạo ra stablecoin riêng” cho các giao dịch này.
Thị trường Cloudflare đại diện cho một tầm nhìn táo bạo, nhưng cần sự tham gia của nhiều nhà xuất bản và công ty AI. Thách thức lớn là thuyết phục các công ty AI tham gia khi họ hiện thu thập nội dung miễn phí.
Tuy nhiên, Cloudflare có lợi thế lớn với khả năng phục vụ 1/5 web toàn cầu, giúp thực hiện thị trường này.