【广州SEO公司】_广州SEO价格_广州SEO顾问_广州SEO服务_拓一网络

主页 > 营销学院 > SEO营销 >
SEO营销

SEO名词解释之蜘蛛

来源:广州拓一营销网   日期:2017-07-19 23:25
什么是蜘蛛?蜘蛛是如何工作的?接下来 广州SEO公司 小编就为大家解释蜘蛛这一名词。 蜘蛛是一组运行在计算机的程序,搜索引擎必须有内容给用户搜索才可以称之为搜索引擎,所以

  什么是蜘蛛?蜘蛛是如何工作的?接下来广州SEO公司小编就为大家解释蜘蛛这一名词。
 

蜘蛛
 

  蜘蛛是一组运行在计算机的程序,搜索引擎必须有内容给用户搜索才可以称之为搜索引擎,所以各个搜索引擎都需要开发自己的一套程序,用于抓取互联网上数以亿计的网页,这个程序就称之为“蜘蛛”,也可称之为“爬虫”。

  在搜索引擎中负责抓取时新的且公共可访问的WEB网页,图片和文档等资源,这种抓取的过程为通过下载一个网页,分析其中的链接,继而漫游到其他链接指向的网页,循环往复。

  蜘蛛程序把收到的代码存入原始页面数据库。搜索引擎为了提高爬行 和抓取速度,都使用多个蜘蛛并发分布爬行。

  蜘蛛访问任何一个网站时,都会先访问网站根目录下的 robots.txt 文件。如果 robots.txt 文件禁止搜索引擎抓取某些文件或目录,蜘蛛将遵守协议,不抓取被禁止的网址。

  其实之所以称为蜘蛛是因为百度给自己的抓取程序取名为Baiduspider,中文翻译为百度蜘蛛,而国内大多数SEO工作者做的是百度搜索引擎的排名优化,所以才普遍把搜索引擎抓取程序称为蜘蛛。当然,不同的搜索引擎对抓取程序的命名并不一样,比如谷歌的抓取程序命名的是GoogleBot,中文翻译为谷歌机器人。


        本文来源:广州SEO公司http://tuoyi.me/

 
分享到: