在学习爬虫前，我们需要先掌握网站类型，才能根据网站类型，使用适用的方法来编写爬虫获取数据。
l常见网站类型
1.js页面
JavaScript是一种属于网络的脚分本语言,被广泛用于Web应用开发,常用来为网页添加各式各样的动态功能,为企业用户提供更流畅美观的浏览效果。通常JavaScript脚本是通过嵌入在HTML中来实现自身的功能的。
ForeSpider数据抓取软件工具可自动解析JS，采集基于js页面中的数据，即可采集页面中包含JS的数据。
Ajax即异步的JavaScript和XML，它不是一门编程语言，而是利用JavaScript在哪个保证页面不被刷新、页面链接不改变的情况下与服务哪个器交换数据并更新部分网页的技术。
我们浏览网页的时候，经常会遇到这样的情况，浏览某页面时，往后拉页面，页面链接并没有变化，但是网页中却多了新内容，这就是通过Ajax获取新数据并呈现出来的过程。
ForeSpider数据采集系统支持Ajax技术,可采软件集Ajax网页查中的内容。
2.post/get请求
在html信息语言中，有两种方式给服务器发送表单（你在网页中填写的一些数据）。一种是POST一种是GET。POST把表单打包后隐藏在后台发送给服务好器；GET把表单打包网站发送前，附加到URL（网址）的后面。
ForeSpider好采集器可采集数据在post/get请求中的网页内容，即采集post/get请求中的数据。
3.需要Coo分kie的网站
Cookie指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据。Cookie基于 Internet的各类信息种服务系统应运而生，是由 Web 服务器保存在用户浏览器上的小文本文件，它可以包含有关用户的信息，是用户获取、交流、传递公司信息的主要场所之一，无论何时用户链接到服务器，Web 站点都可以访问 Cooki类信息e 信息。
一般用户的账号信息记录在cookie中，爬虫爬取数据的时候，可以使用cookie模拟登录状态，从而获取到数据。
ForeSpider数据采集分析引擎可设置cookie来模拟登陆，从而采集需要用到cookie的网站内容。
4. 采集需要OAuth认证的网页数据
OAUTH协议为用户资源的授权提供了一个网站安全的、开放而又简易的标准。同时，任何第三方都可以使用OAUTH认证服务，任何服务提供商都可以实现自身的OAUTH认证服务，因而OAUTH是开放的。
业界提查供了OAUTH的多种实现如PHP、Java Script，Java，Ruby等各种语言开发包，大大节约了程序员的时间，因而OAUTH是简易的。互联网很多服务如Open API，很多大公司如Google，Yahoo，Microsoft等都提供了OAUTH认证服务，这些都足以说明信息OAUTH标准逐渐成为开放资源授权的标准。
l 前嗅简介
前嗅大数据，国内领先的研发型大数据专家企业，多年来致力于为大数据技术的研究与开发，自主研发了一整套从数据采公司集、分析、处理、管理到应用、营销的大数据产品。前嗅致力于打造国内第一家深度大数据平台！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至123456@qq.com 举报，一经查实，本站将立刻删除。
