地址: 上海市静安区共和新路4718弄10号楼2楼
热线:400-166-3538
电话:13122077371
邮箱:sales@shyuanzhen.cn
1.反斜杠的插入
还是以Disallow:/a/b.html为例,在编写该语句的时候,如果忘记加入了反斜杠,则是对全部内容进行开放,这与编写语句的想法相悖,因为反斜杠的意义是根目录。
2.空格的出现
空格的出现就很好理解了,因为搜索引擎对于这个特殊符号的出现并不识别,它的加入只会使语句失去应有的效用。
第二:编写的几个问题
1.Robots.txt编写的顺序问题
举个最简单的例子,如果你想让自己a文件中的b.html被抓取,那么你怎么编写呢?是Allow:/a/b.html Disallow:/a/ 还是Disallow:/a/ Allow:/a/b.html这样?
在Robots.txt编写规则中,它并不执行树状分析结构,换句话说编写时并不应该把母文件夹放在最前,而是遵循一种就近原则,如果我们把母文件夹放在前面,蜘蛛会认为这个途径被封闭了,不能访问,而我们最终的目的却是访问,这样一来,目标和实际就大相迳庭了。
2.Robots.txt编写的开放性问题
很多上海网站建设 的站长,尤其是新手站长对于Robots.txt的理解过于片面,他们认为既然Robots.txt可以规定蜘蛛的访问途径,那我们何必不开放,把所有文件都设置成可访问,这样一来网站的收录量不久立即上升了,其实问题远远没有我们想象的简单,大家都知道网站中一些固定的文件是不必传送给搜索引擎访问的,如果我们把网站“全方位开放”,后果就是加大网站服务器负载,降低访问速度,减缓蜘蛛的爬行率,对于网站收录没有一点用处,所以对于固定不需要访问的文件,我们直接Disallow掉就可以了。
一般情况下,网站不需要访问的文件有后台管理文件、程序脚本、附件、数据库文件、等等。
3.Robots.txt编写的重复性问题
我们每天都在写着原创内容,然后更新到自己的网站中,大家想过没有我们这样做的目的是什么?当然是为了讨搜索引擎的好,大家都知道搜索引擎很看重原创内容,对于原创内容的收录很快,相反,如果你的网站中充斥着大量的复制内容,那么我只能遗憾的告诉你,网站的前途一片渺茫。不过这也从另一个方面告诉我们要积极的利用robots文件禁止重复页面的代码,降低页面的重复度,但是在编写robots文件时一定要记得
在User-agent后加入某个搜索引擎,例如User-agent:BaiduSpider Disallow:/,如果没有加入,编写成User-agent: * Disallow: /形式,则是对网站所有内容的“屏蔽”。
4.Robots.txt编写的meta问题
在 Robots.txt编写规则中,有一个取最强参数法则,而且如果网站以及页面标签上同时出现robots.txt文件和meta标签,那么搜索引擎就会服从两个规则中较为严格的一个,即禁止搜索引擎对于某个页面的索引,当然如果robots.txt文件和meta标签不是出现一个文件中,那么搜索引擎就会遵循就近原则,就会索引meta标签前的所有文件。

网站的基本原理主要涉及以下几个方面: **一、技术架构** 1. 客户端-服务器模型 - 网站基于客户端-服务器架构运行。客户端通常是用户使用的浏览器,如 Chrome、Firefox、Safari 等。当用户在浏览器中输入网址(URL)并按下回车键时,浏览器会向服务器发送请求。 - 服务器是存储网站文件和数据的计算机系统。服务器接收到客户端的请求后,会根据请求的内容返回相应的文件和数据。 2. 服务器端技术 - 服务器端通常使用服务器软件,如 Apache、Nginx、IIS 等,来处理客户端的请求。服务器软件负责接收请求、解析请求、查找相应的文件和数据,并将其返回给客户端。 - 服务器端还可以使用编程语言和框架,如 PHP、Python、Java、Ruby on Rails 等,来动态生成网页内容。这些编程语言和框架可以与数据库系统(如 MySQL、PostgreSQL、MongoDB 等)进行交互,获取和存储数据。 3. 客户端技术 - 客户端主要使用 HTML、CSS 和 JavaScript 等技术来显示网页内容和实现交互功能。HTML(超文本标记语言)用于定义网页的结构和内容,CSS(层叠样式表)用于控制网页的外观和布局,JavaScript 用于实现网页的交互效果和动态功能。 **二、工作流程** 1. 用户请求 - 用户在浏览器中输入网址或点击链接,浏览器会向服务器发送 HTTP 请求。请求中包含了要访问的网页的 URL、请求方法(如 GET、POST 等)、请求头和请求体等信息。 2. 服务器响应 - 服务器接收到请求后,会根据请求的 URL 和服务器的配置,查找相应的文件和数据。如果请求的是静态文件(如 HTML、CSS、JavaScript、图片等),服务器会直接将文件返回给客户端。如果请求的是动态内容(如由服务器端编程语言生成的网页),服务器会执行相应的程序代码,生成网页内容,并将其返回给客户端。 - 服务器返回的响应通常包括响应状态码(如 200 OK、404 Not Found 等)、响应头和响应体等信息。响应体中包含了网页的内容,可以是 HTML 代码、JSON 数据、图片等。 3. 浏览器渲染 - 客户端浏览器接收到服务器的响应后,会根据响应的内容进行渲染。浏览器首先解析 HTML 代码,构建网页的结构。然后,浏览器会应用 CSS 样式,控制网页的外观和布局。最后,浏览器会执行 JavaScript 代码,实现网页的交互效果和动态功能。 - 浏览器在渲染网页的过程中,可能会向服务器发送额外的请求,如获取图片、视频、字体等资源。这些请求也会按照上述的工作流程进行处理。 **三、数据存储和传输** 1. 数据存储 - 网站的数据可以存储在服务器端的数据库系统中,也可以存储在文件系统中。数据库系统通常用于存储结构化的数据,如用户信息、文章内容、订单数据等。文件系统通常用于存储非结构化的数据,如图片、视频、音频等。 2. 数据传输 - 客户端和服务器之间的数据传输通常使用 HTTP 协议。HTTP 是一种无状态的协议,即服务器不会记住客户端的请求历史。为了实现状态管理,网站通常会使用 Cookie 和 Session 等技术。Cookie 是存储在客户端浏览器中的小文件,用于存储用户的信息和状态。Session 是存储在服务器端的会话数据,用于跟踪用户的会话状态。 总之,网站的基本原理是基于客户端-服务器模型,通过 HTTP 协议进行数据传输,使用 HTML、CSS 和 JavaScript 等技术来显示网页内容和实现交互功能,使用数据库系统和文件系统来存储数据。理解网站的基本原理对于网站开发、维护和优化都非常重要。
• • • • | 公司名称:上海缘震网络科技有限公司 开户银行:中国工商银行上海市彭浦支行 银行账号:1001 2508 0930 0206 455 |
总部:上海市奉贤区金海公路6055号29号3楼 分部:上海市静安区共和新路4718弄10号楼2楼 商务官网:www.shyuanzhen.cn 彦蓁科技:www.shyanzhen.cn | 缘震网络成立于 2014 年,公司主要经营全案策划,高端品质网站建设、多媒体视频宣传片制作、微信公众号开发、微信小程序开发、商城定制、SEO优化、电商托管、空间托管、网站维护、应用软件开发、手机端APP开发、等为客户提供一条龙网络运营解决方案的的技术型企业。我们在人力资源、业务范围、设计、技术、服务、信誉度、规范管理及企业文化等诸多方面完善自己,公司目前已与千余家各类客户进行长期战略合作,提供专业的网站建设与运营服务。我们的口号:广结良缘、震古烁今! |
