SEO知识:网站根目录robots.txt配置常见搜索引擎的蜘蛛User-agent参数
Robots使用说明
1. robots.txt可以告诉搜索引擎您网站的哪些页面可以被抓取，哪些页面不可以被抓取。
2. Robots工具目前支持48k的文件内容检测，请保证您的robots.txt文件不要过大，目录最长不超过250个字符。
| User-agent | 搜索引擎 | 其他备注 |
|---|---|---|
| Baiduspider | 百度搜索 | |
| Baiduspider-video | 百度视频 | |
| Baiduspider-news | 百度新闻 | |
| Baiduspider-image | 百度图片 | |
| Googlebot | 谷歌蜘蛛 | |
| Googlebot-Image | 谷歌图片 | |
| AdsBot-Google | 谷歌广告 | |
| Sogou wap spider | 搜狗无线端UA | |
| Sogou web spider | 搜狗网页蜘蛛 | |
| Sogou inst spider | 搜狗 | |
| Sogou spider2 | 搜狗 | |
| Sogou blog | 搜狗博客 | 博客类站点教程类文章一般权重较高 |
| Sogou News Spider | 搜狗新闻 | |
| Sogou Orion spider | 搜狗 | |
| ChinasoSpider | 中国搜索蜘蛛 | |
| Sosospider | 搜搜网页搜索 | |
| yisouspider | 神马搜索 | 移动端 |
| EasouSpider | 宜搜蜘蛛 | |
| JikeSpider | 即刻蜘蛛 | |
| YYspider | 未知 | |
| 360spider | 360搜索 | 360蜘蛛不遵守robots.txt规则 |
| HaosouSpider | 360更名好搜后出的蜘蛛 | |
| Twitterbot | ||
| msnbot-media | MSN | |
| MSNBot | MSN | |
| WochachaSpider | 我查查 | |
| Bytespider | 今日头条字节跳动 | |
| ToutiaoSpider | 今日头条字节跳动 | 这两个字节跳动UA都是在大站上找到的 |
| bingbot | bing搜索 | |
| Yahoo! Slurp | Yahoo | |
| EtaoSpider | 一淘网蜘蛛 | |
| HuihuiSpider | 惠惠购物助手 | |
| GwdangSpider | 购物党 | |
| YoudaoBot | 有道 | |
| facebookexternalhit |
参考：
User-agent: Baiduspider
Disallow:
User-agent: Baiduspider-image
Disallow:
User-agent: Baiduspider-video
Disallow:
User-agent: Baiduspider-news
Disallow:
User-agent: Baiduspider-favo
Disallow:
User-agent: Baiduspider-cpro
Disallow:
User-agent: Baiduspider-ads
Disallow:
User-agent: HaosouSpider
Disallow:
User-agent: Bytespider
Disallow:
User-agent: ToutiaoSpider
Disallow:
User-agent: YoudaoBot
Disallow:
User-agent: JikeSpider
Disallow:
User-agent: yisouspider
Disallow:
User-agent: Sosospider
Disallow:
User-agent: Sogou Orion spider
Disallow:
User-agent: Sogou News Spider
Disallow:
User-agent: Sogou blog
Disallow:
User-agent: Sogou spider2
Disallow:
User-agent: Sogou web spider
Disallow:
User-agent: Sogou wap spider
Disallow:
User-agent: Sogou inst spider
Disallow:
User-agent: Sosospider
Disallow:
User-agent: Sospider
Disallow:
User-agent: sogou spider
Disallow:
User-agent: YodaoBot
Disallow:
User-agent: Googlebot
Disallow:
User-agent: Bingbot
Disallow:
User-agent: Slurp
Disallow:
User-agent: Teoma
Disallow:
User-agent: ia_archiver
Disallow:
User-agent: twiceler
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Scrubby
Disallow:
User-agent: Robozilla
Disallow:
User-agent: Gigabot
Disallow:
User-agent: googlebot-image
Disallow:
User-agent: googlebot-mobile
Disallow:
User-agent: yahoo-mmcrawler
Disallow:
User-agent: yahoo-blogs/v3.9
Disallow:
User-agent: psbot
Disallow:
User-agent: *
Disallow:
Disallow: /wp-admin/
https://www.jiaochengku.com/robots.txt
https://www.sogou.com/robots.txt
https://www.aliyun.com/robots.txt
https://cn.bing.com/robots.txt
https://www.google.com/robots.txt
