robots文件是对搜索引擎蜘蛛是否抓取本站内容的一个规则设置，通常就是一个记事本文件，对于刚刚建好的网站，我们可以允许所有搜索引擎(如百度搜索、360搜索、有道搜索等等)的进行抓取。有部分的新手在建站的时候，往往会因为robots的错误设置，导致网站迟迟不被收录，如果不会进行robots的规则设置，建议去搜一下“网站robots如何设置”，你会发现robots的正确书写，相当于给网站收录打开了一扇大门。
网站伪静态规则设置
自从有了搜索引擎以来，静态页面一直是搜索引擎的爱，因为在抓取上不仅抓取快，而且抓取到的内容在搜索引擎的检索库中建立良好的索引目录。什么是静态设置呢?比如我们常见的以".htm"、".html"结尾的页面就是静态的，每个页面都会有一个固定的命名，不仅能够让爬行程序清晰的记录，而且在网民查找东西的时候，也起到很大的便捷性。
提前规划好网站内部框架结构
基本上现在常见的开源程序在建站后都会有一个良好的网站结构目录，但是因为每一个网站的风格不一样，不可避免的就会因为网站目录结构设计不合理导致网站后期收录不是太好。什么是现在搜索引擎认可的优秀的目录结构呢?请看下图展示：