本发明提供了一种轻量级工业物联网云平台设计方法，以物联网轻量级服务架构为支撑,提出了物联网轻量级Web服务的自动训练算法,通过对数据的挖掘，模型的训练，实现对一线生产的指导与预警，同时也可以让工厂工作人员更加准确的掌握机器的状态，实现设备的最大化利用，详见下文描述。
一种轻量级工业物联网云平台设计方法，其特征在于，所述方法包括以下步骤：
由MQTT协议获取底层收集的消息，将消息通过简单整理后，更改为标准文本格式，存入HDFS系统。
在HDFS上，对数据进行进一步的清洗，并通过map-reduce算法，将相关的数据信息关联。
经过处理的数据会变为适用于机器学习的标准数据，此时在海量数据的基础上对数据进行挖掘，训练更适用于实际生产的模型，从而达到使数据指导生产的功能，同时也可以探索更多工业生产中的实际情景，即达到充分利用资源提高效率的目标。
通过MQTT协议收集底层的数据，并对其进行简单的处理，将处理后的文本文件存入HDFS系统，反应数据收集的具体步骤为：
在MQTT java API中，底层的消息被放入message变量中，通过message.getPayload(),获取消息内容，对字符串的各信息进行解析，获得每一个部分的信息，并将起封装为一个消息对象。
封装好的信息对象可以直接通过jdbc直接存入普通关系型数据库，此目的为循环写入数据留底，这这里只保存短时间内的数据信息，同时也充当数据缓冲池的作用。
在底层数据采集没有故障的情况下，我们不存入关系型数据库，直接将对象信息写入文件中，并将文件直接存入HDFS中。
在HDFS中，可以根据数据的复杂程度，和业务的具体需求，选择是否将数据关联至HIVE数据仓，至此数据已经过完全的清洗，可以用于下一步的分布式机器学习方法。
对清洗好的数据进行相关的分布式机器学习，并将结果信息存入HBase数据库中，其中的步骤具体为：
根据数据的特性，设计特定的map-reduce计算框架，在框架中加入机器学习算法，针对特定的业务需求进行学习。
根据不同的业务，所需的机器学习算法也不同，目前为止可以在map-reduce框架上运行的机器学习方法并不多，这里说明的其中一个需要进行大量数据回归的学习任务。
map阶段，将数据进行按行读入，解析出我们需要的特征，将所有要参与学习的参数放入一个列表中。
每个map维护一个参数向量列表，这个参数向量列表是每个任务的map在其相对应的节点上通过梯度下降算法不断迭代得到的。
将各个map计算得到的参数向量列表提交到reduce阶段。
reduce阶段，对接收过来的参数列表向量进行加权平均处理，最后reduce汇总得到最终的参数列表，学习结束。 |