例如, 很多人写这个:
用户代理: *
允许: /
不喜欢:/ mulu /
想要让所有蜘蛛[公司建设优惠]爬网除/ mulu以外的所有页面/下面的网址下面,发现以下所有URL / mulu /下面。
SEO网站从上到下,优化搜索引擎蜘蛛执行规则,这将导致第二个命令失败。也就是说, 它是无效的,抓住/ mulu /目录无效的规则无效。正确的是,禁止应该高于允许,这将生效。
误解2。Disply命令后,Disallow命令并未以斜杠“/”开始。
这也很容易忽视,例如, 有些人写不允许:123。HTML,这没有任何影响。斜率“/”由根目录的文件指示,如果你没有带它,自然, 不可能判断哪一个是。这么错了。
正确的事情应该是不允许的:/ 123。HTML,这将是屏蔽/ 123。html这个文件,此规则可能会生效。
误解3。屏蔽目录后没有斜线“/”。
那是, 如想要屏蔽/ mulu /这个目录,有些人写不允许:/ mulu这样的。这是正确的吗?
首先这样做, 写(禁止:/ mulu), 您可以执行以下所有URL / mulu /下面。然而, 它还屏蔽类似/ mulu123。HTML这一开始就是所有的页面/ mulu,效果相当于禁做网站公司止:/ mulu *。
正确的方法是,你只想屏蔽你的网站定制公司目录,然后,您必须在最后带斜杠“/”。
本文发布于北京网企业网页制作公司站生产公司盛石中国http:// www。中网。网 /
企业营销型网站建设哪家好 官网制作价格低 专业手机网站建设
请立即点击咨询我们或拨打咨询热线: 13968746378,我们会详细为你一一解答你心中的疑难。项目经理在线