香蕉成人伊视频在线观看|学生小视频国产区|yy女主播啪啪啪视频|麻豆传播媒体APP大全免费版官网|瑜伽牲交AV|国产欧美日韩在线天堂区|白浆精品国产91

Discuz! 官方交流社區

標題: 關于爬蟲問題，大佬有教的嗎？ [打印本頁]

作者: PandaKiller 時間: 2020-11-3 11:44
標題: 關于爬蟲問題，大佬有教的嗎？

百度經常抓
xxxx.cn/?1

而不是抓這種。。。
xxxx.cn/space-uid-1.html
xxxx.cn/space-username-“用戶名”.html

怎么辦哦。。這樣無所謂？還是？？
我沒有屏蔽加這個 Disallow: /space-*
新站。。

作者: allthebest 時間: 2020-11-4 04:16
地球人都知道，論壇要增加注冊用戶靠帖子，只有傻瓜才認為個人主頁、個人空間收錄最重要。

歡迎光臨 Discuz! 官方交流社區 (http://m.yu-jie.cn/)