搜索引擎原理是经过索引网页库，然后蜘蛛spadder索引抓取，剖析网页简历倒排索引，倒排表索引词表。这是搜索引擎算法最根本的任务原理。那么明天我们一同分享搜索引擎预处置中的任务流程。

1.搜索引擎索引关键词的提取

无论是中文搜索引擎还是英文搜索引擎完全可以辨认文字和网页的内容为主的网络资源，抓取一个页面时分同事也把网页的html抓取了，TDK标签，H标签CSS款式和div标签。次要任务还是对thml标签，的顺序处置。提取出SEO的排名计算方式文字信息。

2.自动辨认反复词

网页中呈现很屡次的无用关键词，比方一些感慨于，啊，哦，我，等第三人称呈现频率虽然特别高。但关于用户体验度和搜索引擎没太大价值都会归为有效词。默许挑选。

3.索引分词技术

区别关键词是搜索引擎索引共同的技术。中文少个标点有时分语句就不通畅了。搜索引擎可以将句子默许切割成语句通畅的丹云次。直接影响到了零碎任务效率。

4.去处广告

网页中自然排名网站有各式各样的广告语，登录版权，为了吸援用户放上去的广告，搜素引擎没有价值。直接去掉

5.剖析网页倒排文件

spadder抓取网页之后，正向讨取关键词，经过几个任务之后开端提取关键词，把页面抓取转化为一个关键词组合。同事记载并且换算没一个关键词呈现的频率，格式，地位。每个页面都记载成一个字符。每个关键词的呈现频率，格式。品类等权重信息都被记载在数据库中。

正向索引不是直接用在排名，排名顺序扫描一切的索引中文件，找出文件中的关键词，在停止排序计算。这样无法计算实时排名后果，所以搜索引擎会将正向索引数据库重新结构倒叙索引。完成排名。

6.链接之间关系计算

衔接计算处置是搜索引擎重要的一个环节步骤，主流搜索引擎要素都包括网页链接流信息和内容信息，计算出链接指向什么页面，然后每个页面有哪些导入的衔接。链接运用了哪些锚文本的计算。谷歌pr和百度br衔接关系计算是重要代表阐明。

7.文件处置

搜索引擎索引不但处置以文字为根底文件类型，还对表格，和wps，ppt,视频，xle，txt等非文字内容处置。搜索引擎目前还无法获取flash和文字信息。图片信息普通以alt标签，视频以标题和标签为主停止处置。