關(guān)于爬蟲問題，大佬有教的嗎？

PandaKiller

百度經(jīng)常抓
xxxx.cn/?1

而不是抓這種。。。
xxxx.cn/space-uid-1.html
xxxx.cn/space-username-“用戶名”.html

怎么辦哦。。 這樣無所謂？還是？？
我沒有屏蔽加這個(gè) Disallow: /space-*   
新站。。

我知道答案 回答被采納將會(huì)獲得1 貢獻(xiàn) 已有1人回答

allthebest

地球人都知道，論壇要增加注冊(cè)用戶靠帖子，只有傻瓜才認(rèn)為個(gè)人主頁、個(gè)人空間收錄最重要。