在第一代搜寻引擎发表后，搜寻引擎操作员变得对搜寻引擎优化社区感兴趣。在一些早期搜寻引擎， 譬如INFOSEEK， 要得到第一名不过是把顶尖的网页代码抓下、放在您的网站、并提交个URL让搜寻引擎立即索引并排名该页这么简单。

　　由于搜寻本身的高价值和标定性，搜寻引擎和搜寻引擎优化员间自始便存在对抗的关系。最近一次于2005 年召开的AirWeb年会，旨在谈论缩小这种敌对关系差距，和如何最小化某些太过于侵略性优化造成的损坏效果。

　　某些更具侵略性的优化员产生自动化的站点，或者使用某些最终会让该网域被搜寻引擎扫地出门的技术。而大多数优化公司则销售长期、低风险的策略服务，而且大部分使用高风险战略的优化公司，则在他们旗下的会员点使用、产生商业线索、或者纯内容站点，而非让它们客户站亲身涉险。

　　这里提供一个使用侵略性优化技术的优化公司让他们客户被取缔的案例。华尔街时报描述了某个使用高风险技术和涉嫌没有透露客户得承担那些风险的公司[3]。Wired报告了该公司起诉某部落格，因为提及该公司被取缔[4]。Google 的克特斯 (Matt Cutts) 稍后确认Google 确实取缔了Traffic Power以其他们的客户群[5]。

　　某些搜寻引擎对搜寻引擎优化产业提供了援助，而且是常常是优化会议和研讨会的赞助商和来访贵宾。实际上，自从付费收录 (paid inclusion) 降临，一些搜寻引擎现在在网站优化社区的健康有了既得利益。所有主要搜寻引擎都提供资讯/指南以协助站点优化: Google 、 Yahoo， 和MSN 。Google提供了Sitemaps 程序帮助网站员学习如果Google 有任何问题检索他们的网站时该如何做，并且提供Google流量与您网站关系间无价的丰富资料。雅虎的SiteExplorer，旨在提供一个免费方式递交您的URL， 该方法能让你决定打算让雅虎索引多少页、索引多深。雅虎的 Ambassador Program 与Google的 Google Advertising Professionals 提供专家级的认证。

　　新站点不需要“提交”到搜寻引擎才能登记上市。一个来自于以建立好的、其他站点的简单链结就会让搜寻引擎拜访新站点，并且开始‘爬’过该站内容。它可能得花几天甚或几周从这样一个已建立站点取得连结，并使所有主要搜索引擎开始拜访并索引新站点。

　　一旦搜索引擎发现了新站点，它一般将拜访和开始索引该站，直到所有标准的 <a href> 超连结被链结的页索引到为止。只能透过Flash或JavaScript才能拜访的链结可能不会被蜘蛛机器人找到。

　　当搜索引擎的蜘蛛机器人爬过一个站点时会取决相当数量的不同因子，并且该站的许多页可能不会被索引到除非它们网页级别、连结、或流量增加到一个程度。从站点的根目录到该页的距离，以及其它比重考量，也许也是决定是否该页得到检索的因素。Cho et al.(Cho et al. 1998) [6] 描述了哪些页会被拜访、哪些会收入搜寻引擎索引的决定标准。

　　网站员可透过在网域根目录里标准robots.txt档案指示蜘蛛机器人不索引某些文件或目录。标准的实现要求是搜索引擎在拜访这个网域时参考这个文件，虽然搜索引擎的蜘蛛机器人当它拜访某站点网页时将保留这个文件的快取拷贝，并且更新速度没像网站员那么快。网站发展人员可能使用这个特性防止某些页，譬如购物车或其它动态、特定使用者的内容出现在搜索引擎结果中，并且防止机器人进入死循环和其它机器人陷阱。

　　对于某些有偿提交的查寻引擎(像雅虎)，支付象征性费用提交也许会节省一些时间，虽然雅虎有偿提交方案不保证提交人/公司包括在他们的查寻结果中。