8月份百度Spider升级了对HTTPS数据的抓取力度，HTTPS数据将更快被Spider抓取到。如网站还在做HTTPS...

前面简要介绍过了搜索引擎的索引系统，实际上在建立倒排索引的最后还需要有一个入库写库的过程，而为了提高效率这个过程还需要将...

目前百度Spider抓取新链接的途径有两个，一是主动出击发现抓取，二就是从搜索资源平台的链接提交工具中获取数据，其中通过...

编者按：之前与大家分享了关于搜索引擎抓取系统中有关抓取系统基本框架、抓取中涉及的网络协议、抓取的基本过程的内容，今天将于...

原因一：搜狗策略更新调整，对于搜狗引擎来说，更新调整是必须的，这才能不断提高用户得到的搜索结果的质量，一般的更新调整对于...

如果您的站以前发布新文章收录快，而现在发布新文章收录得慢甚至不收录。可能的原因是搜狗微调了收录策略，而现在收录慢的网站均...

页面永久性移走(301 重定向)是一种非常重要的“自动转向”技术。301重定向可促进搜索引擎优化效果,从搜索引擎优化角度...

网页快照，英文名叫WebCache，网页缓存。搜狗在收录网页时，对网页进行备份，存在自己的服务器缓存里，当用户在搜索引擎...

如果网页内容（无论是内容还是网页标题或者其他信息）已经更改或者发现搜狗网页快照与您的网页内容不一致，在我们下次抓取网站并...

情况一网页已不存在如果网页已不存在，请确保服务器返回 404（未找到）。这样可让搜狗知道该网页已不存在，无需再在搜索结果...

情况一您是网站拥有者如果您是网站拥有者，则需要在验证网站所有权后申请删除整个网站或目录。为确保永久删除您的目录或网站，请...

基本流程抓取网页。每个独立的搜索引擎都有自己的网页抓取程序爬虫（Spider）。爬虫顺着网页中的超链接，从这个网站爬到另...

首先，Frame和iframe代码框架的意思是在当前页面中插入另一个页面,可以说是调用也可以说是使用代码插入。比方我们在...

作者：百度站长平台       发布时间：2013年8月28日亲爱的网站管理员：...

以下是登录几个重要搜索引擎的网站登录入口地址:百度：http://www.baidu.com/search/url_su...

不要看所谓的IP段，IP也不是一沉不变的，过去开头有220.181的 大家都知道，但是后面百度方面在不同的城市都建立了更...

网站做的越大，蜘蛛越多。可是有时候会发现：网站被各种搜索引擎的蜘蛛抓的服务器都快崩溃了，严重的占用了服务器的资源。这个时...

搜索引擎蜘蛛可以简单的理解为页面信息采集工具，不需要人工去采集，它会自动根据URL链接一个一个爬行过去，然后再抓取页面的...

站长可以输入自己网站上的任何一个网址，网管工具会发出Google蜘蛛，实时抓取页面内容，并显示出抓取的HTML代码，包括...

我的网站显示的蜘蛛抓取，有好多动态链接是否有影响？是否需要处理。该如何处理?11-29.123.如果不是自己网站本身实际...