Danh sách bot AI COSMATE kiểm tra
Bảng dưới đây cập nhật trực tiếp từ hệ thống: đây đúng là danh sách bot mà công cụ kiểm tra của COSMATE đang dùng.
| Bot | Dùng để làm gì |
|---|---|
| GPTBot (OpenAI) | Thu thập nội dung để huấn luyện mô hình OpenAI (ChatGPT). |
| OAI-SearchBot (OpenAI) | Lập chỉ mục để ChatGPT có thể trích dẫn/link trang trong câu trả lời tìm kiếm. |
| ClaudeBot (Anthropic) | Thu thập nội dung cho Claude (Anthropic). |
| PerplexityBot (Perplexity) | Thu thập để Perplexity trả lời kèm trích dẫn nguồn. |
| Google-Extended (Google) | Cờ cho phép Gemini/AI Overviews dùng nội dung Googlebot đã thu thập — KHÔNG phải một crawler riêng, nên không kiểm được ở tầng CDN. |
| Bytespider (ByteDance) | Crawler của ByteDance (TikTok/Doubao) — thu thập nội dung + huấn luyện mô hình. |
| CCBot (Common Crawl) | Common Crawl — kho dữ liệu công khai nhiều mô hình nền tảng dùng để huấn luyện, không riêng một hãng. |
| meta-externalagent (Meta) | Thu thập nội dung cho các tính năng AI tạo sinh của Meta. |
| Amazonbot (Amazon) | Thu thập nội dung cho sản phẩm Amazon — Amazon nói rõ dữ liệu này CÓ THỂ dùng huấn luyện mô hình AI của họ. |
| Applebot-Extended (Apple) | Cờ cho phép Apple dùng dữ liệu Applebot đã thu thập để huấn luyện mô hình nền tảng (Apple Intelligence) — KHÔNG phải một crawler riêng, nên không kiểm được ở tầng CDN. |
Cách đọc
- Tên trong robots.txt là tên bạn ghi sau
User-agent:để cho phép hoặc chặn bot đó. - Với bot có trình thu thập riêng, COSMATE kiểm tra cả robots.txt lẫn phản hồi thật của máy chủ, nên phát hiện được chặn ngầm.
- Với Google-Extended và Applebot-Extended, COSMATE chỉ kiểm tra robots.txt, vì hai mục này là quyền cho phép dùng dữ liệu, không có bot đi đọc trang riêng.
Danh sách được rà lại định kỳ khi các hãng AI ra bot mới hoặc đổi tên bot.
Xem thêm
Bài liên quan
Bài này có hữu ích?
Cần thêm trợ giúp?
Liên hệ đội ngũ COSMATE qua một trong hai kênh dưới đây.
- Hotline (8:30–17:30, thứ Hai–thứ Sáu)
- 0777 388 838
- hello@bizmatehub.com