自己做网站首先就要了解搜索引擎收录网站的原理是什么，继而根据搜索引擎的“喜好”来设计网站的结构，只有遵循了它的标准，网站的排名才有机会在搜索结果的前列。
搜索引擎要知道网上的新生事物就要派人去搜集，但是由于新网站出现的数量与老网站不停的更新，靠人工是不可能完成的。所以，搜索引擎的发明者就设计了一套计算机程序叫探测器去执行这个任务，它是以光速来访问每个网站的。
探测器有很多种叫法，例如，谷歌把它的探测器叫做谷歌机器人(Googlebot)，百度就叫作百度蜘蛛（Baiduspider)等。搜索引擎会自动派出这些探测器，对各个网站不分昼夜的进行检索，一旦发现新的网站，它们会自动提取网站的信息和网址加入自己的数据库，包括网站的内容、标签、图片等。当用户输入关键词查找信息时，搜索引擎就会在数据库中进行搜寻，当找到与用户相符合的网页内容时，便采取特殊的算法计算出各网页的相关度及排名等级，根据关联度的高低排序把网页反馈给用户。
这些搜索引擎都是根据每个站主直接提交的网站页面首先去访问的，所以想要搜索引擎访问自己网站的其它页面，那你就要把这个进入首页和其它网页相连，每一页都加入指向首页的链接；或者是通过一个网站指向另一个网站的链接去访问的，你可以做一些外部链接使搜索引擎更有机会找到你并收录你的网站。
但是，探测器对很多网站都不能完整的把所有信息都抓取，原因就是这些网站的设计没有遵循搜索引擎探测器的抓取思路来优化网站。例如，网页比较大，探测器就只能截取网页的首部，跟着少量的链接走，那剩下的网页尾部的链接就很难被探测器抓取到了。所以，这个道理告诉我们自己做网站的朋友们，不要把网页设计的太长，可以将这些拆分成若干小的网页。这样可以使网页更容易被探测器抓取，方便浏览者的阅读，更容易建立网站内部的链接关系。