立即注册找回密码
 

奇瑰网社区

社区官方在线联系

工作时间: 周一到周五早上09:00-11:00, 下午03:00-05:00, 晚上08:30-10:30(周六、日休息)
点击这里给我发消息
QQ: 617155901  E-Mail: qiguiwl@foxmail.com  E-Mail: qiguiwl@foxmail.com
用户交流QQ群
①群87904533 ③群943814120 ←提醒:请勿重复加群, 谢谢合作

[其他] 由站长自己控制搜索引擎访问和索引你的网站

[复制链接]

1081

主题

2224

帖子

16

积分

普通会员

Rank: 1

G币
0
信用
0
体力
6
发表于 2020-2-6 21:04:56 | 显示全部楼层 |阅读模式
搜索引擎很多时候,站长想让搜索引擎收录你的网站却偏偏不收录,而不让搜索引擎收录的页面又要收录,这问题一直困扰着站长,今天来奇瑰论坛主讲由站长自己控制搜索引擎访问和索引网站的网站,我经常被问到Google(谷歌)和搜索引擎是怎样运转的。一个核心问题是:谷歌是怎样知道一个网站的哪些部分是网站所有者想让它们显示在搜索结果中?网站内容发布者能够指定部分网站不被搜索吗?好消息是,网站内容发布者可以使用很多方法控制你们的网页在搜索结果中的显示。
  
  文件robots.txt是这里的主角,该文件已经成为业界标准好多年了。它让一个网站所有者控制搜索引擎访问他们的网站。你可以用robots.txt不同层次地控制访问,比如让搜索引擎只访问整个网站,单个目录,特定类型的网页,或者某一网页。有效地使用robots.txt能让你更好地控制对你的网站的搜索,但是如何达到这一目标不是很显而易见的。这是我们关于如何使用robots.txt来控制对你的网站的存取的一系列帖子的第一篇。
  
  文件robots.txt有什么用?
  
  互联网真的很大。你只是不相信它是怎样地无穷无尽地大。你也许认为维护网站耗费好多精力,但是那只是“网海一粟”。(对DouglasAdams致以诚挚的道歉)
  
  象谷歌这样的搜索引擎会读取所有信息并对这些信息索引,索引是为了让一个搜索引擎对一些用户查询显示与之相匹配的网页。
  
  为了做到这一点谷歌的一些电脑不断抓取网站,他们有一个谷歌所知道的所有网站的名单,他们阅读每个网站的所有网页。所有这些机器被称为谣Googlebot。一般来说,你是愿意让Googlebot访问你的网站,这样你的网页才可以被人们在谷歌搜到。
  
  然而,对你的网站上的某几页,你可能不想让谷歌索引。举例来说,你可能有一个目录包含内部日志,或者你可能有些新闻文章只能在支付费用后才能访问。你可以通过创建一个文本文件名为robots.txt的文件并把它放置在根目录下来告诉谷歌爬虫不要去抓取他们。文件robots.txt包含了一个搜索引擎不能访问的页面的清单。创建一个robots.txt是直截了当的,它允许你用一套精密分层控制搜索引擎对你网站的访问。
  
  精细控制
  
  除了robots.txt文件让您为你的一大堆文件简洁明了给出指令外,你也可以利用robotsMETA标签来精确控制对你的单个网页的访问。为了做到这一点,你只需要对你的HTML网页添加特定的META标签来控制怎样对单个网页索引。归而总之,robots.txt和META标签让你更灵活地表达复杂的访问规定变得比较容易。
  
  一个简单的例子
  
  这里是一个简单的例子,它是一个robots.txt文件。
  
  User-Agent:Googlebot
  
  Disallow:/logs/
  
  User-Agent行指明下面部分的一套指令只是为Googlebot。所有主要搜索引擎都阅读并听从你放在robots.txt的指令。只要你愿意,你可以为不同的搜索引擎指定不同的规则。Disallow行告诉Googlebot不能进入你网站的档案日志子目录。你放在日志目录中的内容将不会显示在谷歌搜索结果中。
  
  禁止访问单个文件
  
  如果你有一篇只有注册用户才能访问的文章,你一定想让它排除在谷歌的结果之外。为了做到这一点,你只需要在该文章对应的HTML文件中添加一个META标签。该文件的代码的最开始有点像:
  
  <html>
  
  <head>
  
  <metaname="googlebot"content="noindex">
  
  ...
  
  这段代码会阻止谷歌索引此文件。标签META特别有用,如果你只被允许编辑单个文件,而不是全站的robots.txt。他们还允许你逐页地指定复杂的访问控制规定。
  
  了解更多
  
  你可以在http://www.robotstxt.org/和谷歌的站长帮助中心找到更多有关robots.txt的更多有用信息,包括:
  
  如何构造一个robots.txt文件
  
  对谷歌使用的每个User-agent的描述
  
  如何使用模式匹配
  
  要多久我们才重新抓取您的robots.txt文件?
  
  我们也在我们的站长博客里写了一些关于robots.txt的帖子,也许对你有用。例如:
  
  使用robots.txt文件
  
  Googlebot汇总
  
                                                              搜索引擎                        ,            网站                        ,            禁止收录




上一篇:网站锚文本怎么优化如何设置站内锚文本
下一篇:360不兼容还有什么浏览器可使用
回复

使用道具 举报

使用高级回帖 (可批量传图、插入视频等)

发表回复

您需要登录后才可以回帖 登录 | 立即注册  

本版积分规则   Ctrl + Enter 快速发布  

发帖时请遵守我国法律,网站会将有关你发帖内容、时间以及发帖IP地址等记录保留,只要接到合法请求,即会将信息提供给有关政府机构。
Powered by Discuz! X3.4 ( 粤ICP备18094825号-1 知道创宇云安全  
Copyright © 2014-2020 www.qiguiwl.cn All Rights Reserved.
快速回复 返回顶部 返回列表