搜索引擎紧张通过三个功能来帮用户获取网页内容：
爬虫：在互联网上爬取内容，查看它们找到的每个 URL 的代码、内容。索引：存储和组织在爬取过程中创造的内容。一旦页面在索引中，它就会在搜索中显示干系查询的结果。排名：供应最能回答查询者所查询的内容，这意味着搜索结果按最干系到最不干系的顺序排列。爬虫
爬虫是搜索引擎派出的机器人（也叫蜘蛛），用来查找网站的内容和更新的内容。这些内容可以是网页、图像、视频、PDF 等——但无论格式如何，内容都是通过爬虫创造的。
爬虫会首先爬取几个网页，然后按照网页上的链接查找新网址。通过沿着这条链接路径跳跃，爬虫能够找到新内容并将其添加到名为 Caffeine 的索引中。用户探求该 URL 上的内容时，在索引的帮助下，干系的搜索结果则很随意马虎匹配。
索引
索引可以理解为是一个巨大的数据库，用于储存和组织爬虫所找到的信息和内容。以便足以为用户供应做事。
排名
当有用户输入关键词搜索时，搜索引擎会在其索引中搜索高度干系的内容，然后对该内容进行排序，以期办理用户的查询。这种按干系性对搜索结果进行的排序称为排名。一样平常可以认为网站排名越高，搜索引擎认为该网站与查询的干系性就越高。
大略的理解搜索引擎的事情事理往后，相信有不少朋友已经有了关于自己网站的SEO优化的线索。您可以从自己的网站中设置阻挡爬虫来爬取部分或者全部的信息，避免将这些页面信息存储在其索引中。而对付外贸网站推广来说，当然是希望用户能找到自己的网站，因此要首先确保爬虫是否能访问并爬取自己网站的内容以编入索引。否则，自己的网站对付搜索引擎来说，就像是一个隐形的存在，那么搜索引擎的用户自然无法看到自己的网站，网站的流量也就寥寥无几了。
在 SEO 中，并非所有搜索引擎都是平等的
大多数人都知道谷歌拥有最大的市场份额，但有必要针对必应、雅虎等进行搜索优化吗？ 实际上，只管环球目前存在 30 多个紧张的在线搜索引擎，但 SEO行业确实只关注 Google。 由于谷歌是绝大多数人在线搜索的地方。 如果我们在做推广时包括了谷歌图片、谷歌舆图和 YouTube，获取的流量将会是必应和雅虎加起来的 20 倍以上。
（文章及图片素材来源自网络，如有侵权，请联系作者删除）
