简仪USB101—数据采集助手(AI)使用攻略
前言一切皆可能，简仪口袋数据采集卡USB101支持LabVIEW数据采集助手了，这使得USB101开箱即用与火线上手数据采集成为可能。(http://www.jytek.com/product/278163686)。攻略中的具体的内容是，在LabVIEW中通过数据采集助手快速实现模拟信号（AnalogInput）数据采集编程。
视频教程先放上视频教程，配合攻略文档实战一下呗。
DAQWarefor简仪USB101数据采集系列教程(ExpressVI数据采集助手系列)
攻略文档及相关资源下载链接由于博客不支持粘贴附件，请先下载攻略word文档（内嵌附件）。下载链接如下：
https://www.lanzous.com/i87ko7g5步攻略第一步：确认硬件型号及驱动安装本攻略中软件兼容的简仪数据采集卡为USB101口袋数据采集卡(http://www.jytek.com/product/278163686)，正确安装驱动的现象可以通过Windows的设备管理器查询。
第二步：确认LabVIEW版本VI范例需使用LabVIEW2018打开，若LabVIEW版本大于2018也能正常使用，但版本不能低于LabVIEW2018。
第三步：部署简仪USB101驱动安装简仪USB数据采集卡驱动程序（1.4以上版本），默认安装至C:SeeSharpJYTEKHardwareDAQ目录。下载地址一（1.4版本）：https://www.lanzous.com/i7mqlde密码:680f下载地址二（1.5版本）http://www.jytek.com/filedownload/168047下载地址三：选中附件1（Word文档嵌入）对象后，复制粘贴至本地计算机。
第四步：部署_express文件夹将附件_express.7z解压至X:ProgramFiles(x86)NationalInstrumentsLabVIEW2018user.lib_express目录。（将鼠标移至附件2图标，单击右键，选择复制，将其粘贴至X:ProgramFiles(x86)NationalInstrumentsLabVIEW2018user.lib_express目录后并解压）
第五步：运行简仪USB101AI数据采集助手DEMO程序打开附件3：JYUSB101AI数据采集助手LV18.vi如图3、图4所示，即可正常使用。范例运行过程中，可以修改启动的通道、采样率、采样数。也可停止运行VI，双击程序框图中的ExpressVI，配置触发和输出数据的类型（波形或数组）。
雷达数据采集DCA1000EVM使用指南
1.本文主要介绍一下TI针对其xWR1xxx系列毫米波雷达开发的DCA1000数据采集卡的使用方法，方便大家快速上手。注意：mmWaveStudio1.0000 支持AWR1243ES2.0，ES3.0，AWR1642ES1.0
mmwaveStudio1.0.2.0以后版本 支持AWR1243ES3.0，AWR1642ES2.0
2.驱动问题：XDSEmulationSoftwarePackage是雷达板的驱动；采集卡的FTDI驱动在mmwave_studio_01_00_00_00ftdi文件夹下。
小贴士：如何识别xWR1xxx的硬件版本（silicon version）？ 通常ES2.0 版本，芯片上的型号后面会加“Rev A”，EVM上会有ES2.0标签。
3、软硬件配置（1）DCA1000EVM硬件配置
SW1和SW2按键设置如下图所示：
（2）电脑端IP地址设置
IPv4： IP地址： 192.168.33.30 子网掩码：255.255.255.0
（3）DCA1000连接失败
[error]：ConnectRFCardStatus：RFDCCARD_UDP_WRITE_ERR
EthernetCableisdisconnectedPleasecheck.....!!!
电脑防火墙设置，确保mmWaveStudio被授权访问；更换电脑：以太网适配器是“RealtekPCIeGBEFamilyController”（千兆网），DCA1000即可正常工作；若电脑的以太网适配器是“RealtekPCIeFEFamilyController”，则无法工作，需更换支持千兆网电脑。（4）PostProc无法正常工作
DCA1000采集的数据保存储在adc_data_RAW_0.bin中，由于以太网协议，DCA1000接收到的UDP数据包不一定是正确的顺序，且存在包丢失的情况。mmWaveStudio通过“PostProc”按钮，对adc_data_RAW_0.bin进行数据包重新排序和零填充，并保存为adc_data.bin（即xWR1xxx传输的原始ADC数据）。
若PostProc无法工作。则需使用DOS命令对adc_data_RAW_0.bin进行手动转换，DOS命令如下：Packet_Reorder_Zerofill.exePacket_Reorder_Zerofill.exeadc_data_Raw_0.binadc_data.bintest.log
奇点云数据中台技术汇（二）
继上期数据中台技术汇栏目发布DataSimba——企业级一站式大数据智能服务平台，本期介绍DataSimba的数据采集平台。
DataSimba采集平台属于DataSimba的数据计算及服务平台的一部分，负责数据的导入，从而支持上层的数据处理。DataSimba的定位是面向企业私有化部署，决定了采集平台面临要解决的问题和传统的互联网公司不太一样：
1、企业使用的数据库类型多且杂，包括很多非主流的数据库；
2、企业的数据管理水平参差不齐，依赖数据规范（如：维护列modify_time判断记录是否修改）的导入方式推行困难；
3、需要支持的场景比较复杂，包括：流处理、增量处理、批处理；
4、企业的数据平台规模一般较小，资源有限,需要更好的平衡计算成本与效率。
采集平台总体架构整个采集平台核心为DataX与DataS两个采集组件：
DataX：
·阿里开源的数据集成组件，通过jdbc，以查询的方式支持通用的关系行数据库导入；
·DataSimba同时支持向导模式和脚本模式。
·可扩展支持NoSQL、FTP等。
DataS：
奇点云针对复杂的企业数据环境开发的，基于数据库日志（类似binlog）同步数据的工具，主要特征如下：
·配置简单：整库导入配置只需要一分钟，支持实时抽取、增量落盘、全量合并；
·基于数据库Log采集，以减少对企业现有系统的侵入。目前支持Mysql,Sqlserver,Oracle,Postgres,MongoDB；
·支持多种业务场景，包括：实时计算，增量计算(10m～1h)，全量批处理(>1h)；
·高效的数据合并性能，节省计算资源；
·schema自动同步；
DataXvsDataS：
·DataX通过查询（即Select）方式，而DataS通过解析数据库日志；
·DataX支持数据源更广，DataS支持数据源较少（见下表）；
·DataX对数据源压力较大，而DataS对数据源压力较小；
·DataX需要数据源有较大的空闲时间窗口，用于抽取数据。而DataS不需要；
·DataX需要维护类似modify_time字段做增量抽取，而DataS不需要；
·DataX无法跟踪记录变更过程，DataS可以跟踪；
·DataX不支持实时数据采集，DataS支持秒级的数据采集；
DataSimba在采集数据时优先使用DataS的方式。
为什么要做DataS早期的Simba使用DataX导入数据，在企业部署过程中遇到很多问题，如：
·某快消企业，数据库本身的压力就比较大，且没有大段的空闲窗口用于数据采集，采用DataX抽取难度较大。
·某企业，数据库每日增量较少（～10GB），但全量数据较大（>20T)，导致增量与全量合并的效率较低，消耗资源比较多。
·某金融企业，需要在数仓中跟踪账户余额的每一次变动，又要不侵入现有的业务，采用DataX的方式无法做到。
·某企业大屏，需按小时刷新，统计数据量较大，采用流式计算成本较高，实现比较复杂。采用DataX又无法做到小时以内的采集频率。
以上只是在simba部署过程中碰到的一部分内容。为了解决碰到的种种问题，我们最终决定开发一套新的采集工具：DataS。
DataS技术方案DataS的目标是：配置维护简单，支持多种数据源，支持多种应用场景，尽可能高效。
与cannal/maxwell等binlog采集工具相比，DataS支持更多的数据库类型：
实时采集数据流程实时采集的主要流程如下：
1、数据源端创建访问账号，设置权限和日志配置项
2、simba平台上配置数据源
3、simba平台上创建导入任务，选择导入的库和表，确定是否合并
4、发布导入任务
5、DSExtracter从数据库源拉取全量快照，作为初始化导入数据
6、DSExtracter实时解析数据库日志，以增量的方式解析新增数据到kafka
7、DSLoader按照设定的周期（通常是10分钟）将新增数据落盘到增量数据层（INC）
8、DSMerger定期（通常是30分钟）将新增数据与全量数据合并到ODS
9、后续的计算以增量或者全量的方式从ODS层消费数据
技术亮点一、高效的合并方案
DataS同时保留了增量的日志数据和全量的快照数据，以支持复杂的企业业务场景。同时DataS提供了高效的快照合并方案。以下是DataS合并与基于HBase方案合并的性能比较测试。对于1T以上的数据表增量和全量merge时，DataS有12～24倍的性能提升。
与传统的利用HiveSQL或者HBase做merge的方式不同，DataS采用了二级映射的方式，使最终的合并转化为一个RDD或者一个Map中就可完成的小文件合并，并避免了不需要合并的文件读取，如图所示：
DataS合并逻辑如下：
1、DataS会将新增数据划分到不同的hive分区中，分区可以根据业务自定义；
2、在一个分区内，DataS利用布隆过滤（BloomFilter)将数据映射到不同的文件；
3、新增数据和单一存储文件做局部合并；
将整个合并最终划分为小文件的合并，从而大幅提高了合并的效率。
二．近实时的数据时延
DataS提供两种合并方式：写时拷贝（CopyOnWrite）和读时合并（MergeOnRead）
写时拷贝是指每次增量数据与文件合并时，都是拷贝两边的数据生成新的全量数据文件。此种方式合并时性能稍差，但读数据（统计查询）时性能好一些，过程如下：
读时合并是指合并时只将增量数据写入日志文件，读时（查询统计）再合并重复数据。同时会定期全量合并。此种方式的合并效率很高，数据时延可以达到秒级～分钟级，但查询时性能稍差，如图所示：
两种方式使用与不同的业务场景：注重读性能或者注重合并性能。
Datas支持丰富的场景应用按照数据要求的时延和数据要求的完整性，计算场景大致可分为三类：
其中：
·实时计算：很多数据时延要求在毫秒级～10分钟的场景，通常采用flink或者spark等计算引擎。如：监控告警、实时特征等等。
·增量计算：时延要求在10分钟～小时级别，数据要求增量处理的场景。如企业大屏、活动效果分析、当日uv等统计数据展示。
·全量批处理：主要针对各种T+1的报表统计，Simba目前采用Hive引擎。
目前市场上对于实时计算和全量批处理都有成熟的方案，但对于夹缝中的增量计算支持的都不太好。增量计算无论是采用流式实时处理，还是采用全量批处理，都比较浪费资源，且效果不理想。DataS可以支持增量的采集、合并、计算，以较低的计算成本支持了此类场景。此外，DataS能很好的支持秒级以上的实时计算和批处理任务。
附-DataSimba数据采集支持的多种数据源
DataSimba的采集平台支持丰富的数据源，包括：