Chặn AI crawler với Cloudflare: ai được đọc website bạn?
Nếu website của bạn nằm sau Cloudflare, các quy tắc về việc những “khách” tự động nào được vào đang thay đổi ngay bên dưới bạn. Cloudflare phục vụ một phần lớn của web, nên các thiết lập mặc định của họ âm thầm định hình những gì các công ty AI có thể đọc. Bài viết này điểm qua các thông báo gần đây và đưa ra một cách để doanh nghiệp nhỏ quyết định mình thực sự muốn gì, không thổi phồng theo hướng nào.
Bối cảnh
Trong bài đăng ngày 1 tháng 7 năm 2026 đánh dấu một năm kể từ khi đổi mặc định, Cloudflare nhắc lại rằng họ đã bắt đầu chặn các AI crawler dùng để huấn luyện theo mặc định cho các tên miền mới. Báo cáo cùng bài cho biết hơn một nửa lưu lượng internet hiện không phải do con người tạo ra, và tính đến tháng 6 năm 2026, khoảng 52 phần trăm số yêu cầu của crawler là để huấn luyện AI, tăng từ 22 phần trăm vào mùa xuân 2025. Báo cáo cũng nói các crawler đa mục đích (mixed-use), thu thập dữ liệu cho cả tìm kiếm lẫn AI, chiếm hơn một phần ba hoạt động của crawler. Đây là số đo của chính Cloudflare, và công ty có lợi ích gắn với chủ đề này, nên hãy xem đó là một góc nhìn có hiểu biết chứ không phải sự thật trung lập.
Lập luận của công ty xoay quanh sự công bằng. Trước đây, việc crawl được “trả công” bằng các lượt truy cập giới thiệu. Cloudflare cho rằng giờ đây mọi người dành ít thời gian tìm kiếm hơn nhiều trên web mở, và một số nhóm nội dung bị crawl nhiều đã thấy lưu lượng người thật giảm tới 40 phần trăm trong chưa đầy một năm. Họ cũng lưu ý rằng Google chiếm khoảng 88 phần trăm lưu lượng giới thiệu và crawler đa mục đích của Google khiến chủ website không thể tham gia tìm kiếm mà không tham gia luôn các trải nghiệm AI của Google.
Những gì được đưa tin cho tháng 9 năm 2026
Một bản tin tóm tắt cho biết từ ngày 15 tháng 9 năm 2026, Cloudflare sẽ chặn các crawler đa mục đích khỏi những trang có quảng cáo theo mặc định, áp dụng cho khách hàng mới và các site mới trên tài khoản hiện có. Bản tin cũng nhắc đến các điều khiển robots.txt được quản lý và một thử nghiệm “pay per crawl”, trong đó nhà xuất bản có thể tính phí các công ty AI để được truy cập. Nếu tài khoản Cloudflare của bạn lâu năm hơn, các site hiện có không được mô tả là sẽ tự động thay đổi, nhưng bạn vẫn nên mở dashboard và đọc các thiết lập hiện tại thay vì giả định.
Góc nhìn đối lập: các thử nghiệm về discovery
Chặn mới chỉ là một nửa câu chuyện. Ngày 15 tháng 10 năm 2026, Cloudflare và OpenAI chia sẻ kết quả ban đầu của một thử nghiệm bắt đầu từ tháng 7. Với một nhóm khoảng một phần trăm mạng lưới của Cloudflare, các tín hiệu của Cloudflare đã giúp crawler tìm kiếm của OpenAI phát hiện các trang mới, và OpenAI cho biết đã phát hiện và lập chỉ mục hàng trăm triệu trang. Các tín hiệu mô tả những trang dẫn đến ngõ cụt, những trang đã thay đổi, và từng trang riêng lẻ bị gắn cờ là có hại. Bài đăng nói rằng một tín hiệu không cấp quyền truy cập một trang, và chủ website có thể xem và quản lý quyền truy cập bằng AI Crawl Control của Cloudflare. Nghiên cứu được mô tả là dùng metadata, không dùng nội dung trang để huấn luyện.
Với một website nhỏ, một cách hiểu là tín hiệu tốt hơn có thể đồng nghĩa với ít lượt crawler ghé server của bạn một cách vô ích hơn, và việc được phát hiện dễ hơn nếu bạn muốn.
Một cách quyết định đơn giản
Bắt đầu từ mô hình kinh doanh của bạn
- Bạn sống nhờ việc được tìm thấy ở địa phương hoặc thị trường ngách (một studio, một phòng khám, một cửa hàng chuyên biệt). Việc được các trợ lý AI tìm thấy có thể giúp ích. Chặn tất cả có thể khiến bạn vô hình trước một cách tra cứu đang ngày càng phổ biến.
- Bạn bán bài viết, dữ liệu hoặc khóa học. Nội dung của bạn chính là sản phẩm. Hạn chế các crawler huấn luyện và crawler đa mục đích là hợp lý, và việc đàm phán cấp phép cũng không phải điều không thể với các nhà xuất bản lớn hơn.
- Bạn chạy quảng cáo trên các trang nội dung. Những crawler đọc mà không mang khách về gây tổn thất trực tiếp cho bạn, nên mặc định mà Cloudflare đang hướng tới có thể phù hợp với bạn.
Tách các loại khách truy cập
Báo cáo gợi ý nên cho phép hoặc chặn việc discovery và việc huấn luyện một cách riêng biệt, và ưu tiên các công ty AI tự nhận diện bot của mình và khai báo mục đích crawl. Trong thực tế, điều đó nghĩa là đối xử với crawler tìm kiếm khác với crawler huấn luyện thay vì dùng một quy tắc chung cho tất cả.
Việc nên làm trong tuần này
- Đăng nhập dashboard Cloudflare và ghi lại các thiết lập AI crawler và bot hiện tại của bạn.
- Kiểm tra robots.txt, phòng trường hợp nó nói điều gì đó mâu thuẫn với dashboard.
- Xem bạn có báo cáo AI crawl nào không, và ghi lại những URL được yêu cầu nhiều nhất.
- Quyết định trang nào là tài liệu marketing công khai mà bạn sẵn lòng cho đọc, và trang nào là tài sản cần bảo vệ.
- Ghi lại quyết định kèm ngày tháng để có thể xem lại sau ba tháng.
Khi nào nên bỏ qua
Nếu website của bạn nhỏ, không có quảng cáo, và nội dung thuộc loại bạn muốn xuất hiện ở khắp nơi, có thể bạn không cần thay đổi gì. Rủi ro duy nhất là vô tình chặn nhầm thứ bạn muốn, chẳng hạn một crawler tìm kiếm, vì một quy tắc quá hăng. Nếu website của bạn không nằm sau Cloudflare, những câu hỏi tương tự vẫn áp dụng trong thiết lập của nhà cung cấp hosting hoặc tường lửa.
Nếu bạn muốn có thêm một cặp mắt rà soát cấu hình bot và caching, dịch vụ của chúng tôi bao gồm các đợt đánh giá kỹ thuật cho website doanh nghiệp nhỏ.