基于Hadoop云计算智能家居信息处理平台近年来，在物联网等具有海量数据需求的应用变得越来越普遍时，无论是从科学研究还是从应用开发的角度来看，掌握云计算技术已成为一种趋势。智能家居作为物联网应用的主要领域之一，自然离不开云计算。 近年来，在物联网等具有海量数据需求的应用变得越来越普遍时，无论是从科学研究还是从应用开发的角度来看，掌握云计算技术已成为一种趋势。智能家居作为物联网应用的主要领域之一，自然离不开云计算。云计算的发展使用户无需关注复杂的内部工作机制、无需具备丰富的分布式系统知识及开发经验，即可实现大规模分布式系统规定部署，以及海量数据的并行处理。 Hadoop是目前较为成熟和应用较为广泛的云计算架构之一。Hadoop的核心思想是分布式并行处理。Hadoop技术中的关键技术是HDFS(分布式文件系统)和Map/Reduce(映射/规约)。Hadoop利用HDFS存储海量数据，利用Map/Reduce进行海量数据的计算。 文中首先介绍了智能家居与云计算的概念，接着针对传统的海量数据处理方法硬件成本太高，存在计算瓶颈的问题，在云计算理论的基础上针对智能家居中的门禁系统、温湿度系统、滴灌系统和照明系统搭建了基于Hadoop的数据处理平台。可以对大量传感信息进行分布式并行处理，并根据处理结果向底层设备发送指令以实现智慧化服务。 智能家居与云计算 1.1智能家居 目前通常把智能家居定义为利用电脑、网络和综合布线技术，通过家庭信息管理平台将与家居生活有关的各种子系统有机结合的一个系统。首先，需要在家居中建立一个通信网络，为家庭信息交互和传输提供必要的通路，在家庭网络的操作系统控制下，通过相应的硬件和执行机构，实现对所有家庭网络上的家电和设备的控制和监测。其次，智能家居系统需要通过一定的媒介平台，提供与外界的通信通道，以实现与家庭以外的世界沟通信息，满足远程控制/监测和交换信息的需求。 1.2云计算架构Hadoop Hadoop是一个分布式计算框架，可以在大量廉价的硬件设备组成的集群上运行应用程序，为应用程序提供了一组稳定可靠的接口，旨在构建一个具有高可靠性和良好扩展性的分布式系统。Hadoop的主要优点有：扩容能力强、成本低廉、效率高、可靠性高、免费开源及良好的可移植性。Hadoop项目包括多个子项目，但主要是由Hadoop分布式文件系统(HadoopDistributed File System， HDFS)和映射/规约引擎(Map/Reduce Engine)两个主要的子项目构成。 1.3分布式文件系统(HDFS) HDFS由一个名叫NameNode的主节点和多个名叫DataNode的子节点组成，是一种典型的主从式(Master/Slave)架构，这种架构方法可以通过主节点屏蔽底层的复杂结构，并向Client提供方便的文件目录映射。NameNode存储着文件系统的元数据，这些元数据包括文件系统的名字空间等，并负责管理文件的存储等服务，但实际的数据并不存放在NameNode，而是由HDFS中的DataNode来存放数据，然后由Client直接与DataNode建立数据通信。 此外，HDFS为了可靠地海量存储文件，各个文件以块序列的形式存储。为了保证故障容错，文件的块被复制。块的大小和副本的个数都可以配置。Name鄄Node控制所有的块复制操作，它周期性地接收来自集群中DataNode的“心跳冶回应和块报告。收到一个节点的“心跳冶回应表示这个DataNode是正常的。 1.4MapReduce分布式计算 MapReduce分布式计算主要是用来在数千部服务器上同时处理保存于GFS Clusters中高达几十TB甚至更多的数据。 MapReduce在温度值统计过程中的运作如下所述。 MapReduce的作用是对计算机集群上的大型数据集运行分布式计算，替大量数据做平行计算处理。MapReduce的整个架构是由Map和Reduce函数组成的，当程序输入一大组Key/Value键值对时，Map函数自动将原本的Key/Value分拆成多组中介的键值对，然后Reduce函数再合并具有相同Key的中介值配对，化简成最后的输出结果。 责编：李玉琴  微信扫一扫实时了解行业动态 著作权声明：畅享网文章著作权分属畅享网、网友和合作伙伴，部分非原创文章作者信息可能有所缺失，如需补充或修改请与我们联系，工作人员会在1个工作日内配合处理。 |
最新专题 推荐圈子 |
DB2数据的导入(Import)_导出(Expo..
Cognos 中国社区——Cognos 10.2...|
|
