数据采集系统

数据采集系统

什么是数据采集系统

一般有两种定义：一种是从数据源收集、识别和选取数据的过程。二是数字化、电子扫描系统的记录过程以及内容和属性的编码过程。

系统种类

1、网络类

用来批量采集网页，论坛等的内容，直接保存到数据库或发布到网络的一种信息化工具。可以根据用户设定的规则自动采集原网页，获取格式网页中需要的内容，也可以对数据进行处理。

2、设备类

是指从传感器和其它待测设备等模拟和数字被测单元中自动采集信息的过程。数据采集系统是结合基于计算机的测量软硬件产品来实现灵活的、用户自定义的测量系统。比如条码机、扫描仪等都是数据采集工具（系统）。

比较常见的采集系统软件有：易得网站数据采集系统、网络矿工、soukey、openSCDA等

易得网站数据采集系统特点：完全开源，采用php+mysql编写而成，安装对应服务器即可。可定义采集规则，采集大部分网站内容，系列化保存文件到数据库。不仅可以浏览数据，还可以对主体数据进行修改，性能安全等。

网络矿工：功能较完善，可以对网页数据采集，开发语言是C#,适合中小网站。主要功能有1：多任务多线程的采集模式。2、支持导航配置，支持网址参支持参数，数字，字母成批配置采集；3支持网址编码及网页编码；4、支持数据去重和代理采集；5、支持将采集的数据发布到文件（excel、csv、文本），发布到数据库（mysql、access），6、支持定时采集。

Soukey采集数据软件是一套面向个人，中小企业的一套开源数据采集系统软件，功能丰富，包括监控，rss制作，数据采集等。主要有以下特点：

1、 多任务，多线程，支持一个任务运行多个实例。2.支持图片，flash及文件下载。3支持Cookie、post采集；4 可采集Ajax数据；5、采集数据临时储存，断点续采；6、支持采集数据加工等等。

OpenSCADA是一款开源的监控和数据采集系统。它是独立于平台和现代化的系统设计，同时提供安全性和灵活性的基础上。