电力大数据平台 基于SAP HANA的电力大数据平台的研究与设计

摘要:电力大数据平台对实时性、稳定性、可靠性要求很高。本文在对SAP HANA技术和大数据技术进行理解,提出了一套针对电力系统的解决方案和基于SAP HANA的大数据平台架构和解决方案,包括对电力数据采集层,数据存储层和数据分析/展现层,该平台在高性能,数据集成,实时数据流分析和可靠性上具有很大的提高。

  关键词:大数据 SAP HANA 电力大数据 电力系统
  中图分类号:TP311.13 文献标识码:A 文章编号:1007-9416(2016)11-0150-01
  近年来,国内许多电力企业的业务不断发展,除了传统的火电发电,还涉及风力发电、光伏发电、电站检修和运营服务等方面业务。为了加快两化融合,促进企业管理及信息化双提升要求是建设企业运营管理系统的大数据平台的关键驱动因素,大数据平台的建成将成为企业管理及信息化运转的驱动引擎,是加快电力信息化规划实现步伐。
  通过大数据平台建设,形成全公司范围的运营管理解决方案,保障企业管理工作标准化、规范化、精细化、高效化,真正为决策服务。电力企业大数据平台具有业务数据量大,分析模式复杂,数据读取频繁,等诸多特点,如何利用最前沿的软硬一体的大数据库应用支撑是摆在电力企业运营管理系统建设面前的重要难题。
  1 大数据定义与特征
  大数据又称海量数据,指的是所涉及的数据规模巨大,以至于目前已有的软件工具无法在合理时间内,处理、管理、挖掘这些数据,并将其整理成为帮助企业经营决策更积极目的的信息。大数据的4V特征:数量(Volume),即数据巨大;多样性(Variety),即数据类型繁多;速度(Velocity),即处理速度快;价值性(Veracity),即追求高质量的数据。
  2 SAP HANA技术
  SAP HANA提供多用途的内存应用设备,企业可以利用它即时掌握业务运营情况,从而对所有可用的数据进行分析,并对快速变化的业务环境做出迅速响应。
  通过SAP HANA,企业可以在业务运作期间基于海量实时详细信息分析业务运营情况。企业可以探索和分析来源于所有数据源的全部交易数据和分析数据。运营数据在产生时由内存获取,并通过灵活的视图迅速将分析信息呈现给用户。外部数据可轻松的被添加至分析模型,与整个企业的数据进行整合。
  3 电力大数据平台的架构设计
  电力大数据平台系统具有业务数据量大,分析模式复杂,数据读取频繁,等诸多特点,如何利用最前沿的软硬一体的大数据库应用支撑是摆在电力企业运营管理系统建设面前的重要难题。
  3.1 电力大数据平台架构
  将数据平台总体架构划分为三大层:采集层,存储层以及分析/展现层。这种架构,是对传统标准企业级数据仓库架构的扩展,既能满足一个数据中心平台层面的所有需求,又具备充分的前瞻性,为未来EOM提供实时、兼具广度和深度的大数据应用提供支撑。
电力大数据平台 基于SAP HANA的电力大数据平台的研究与设计
  3.2 数据采集层设计
  数据抽取、转换、加载的任务将在此处完成。整个平台的数据整合能力将由SAP HANA Smart Data Integrator来提供,通过开放的数据接口连接各种类型的底层数据源,并且在数据加载的同时进行第一轮的数据清洗任务,提高保证数据的规范性。
  3.3 数据存储层设计
  数据存储管理是本方案的核心部分。在整个方案设计中,SAP建议把数据按照数据的时效性分层管理,即历史数据和活动数据。历史数据部分包含所有的分析数据,存放电力企业历年来的数据。活动数据(热点数据)部分包含日常分析中最常使用的数据,所有的前端分析数据都将在活动数据中命中,在活动数据中将进行保证最大的数据分析并提高和数据检索效率。
  3.4 数据分析/展现层
  SAP建议使用SAP BusinessObject作为整体的数据展现平台。BO中的语义层工具Information Designer Tool(IDT)将负责业务数据模型的整体管理,通过IDT中的数据调用,把需要展现的数据输送给前端工具进行报表展示。
  4 关键技术及方案优势
  高性能内存计算技术:数据分析应用,对实效性往往要求极高,对数据存储平台提出了更高的要求:高速的数据装载的同时,提供毫秒级的查询响应。全面的数据集成能力:本方案ETL工具将利用SAP数据采集系统SAP Data Integrator,这是一个专门面向企业信息管理的应用平台,帮助企业迁移、转变和提升数据。实时数据流分析能力:SAP在信息集成过程,增加了独一无二的架构――基于内存的实时数据流处理机制,把需要处理的数据在内存中流动起来,高效地输送到各个处理环节,实现高频次、小批量的数据处理调度,到达高吞吐量、低延时的理想效果。
  5 结语
  本文提出了一套针对电力系统的解决方案和基于SAP HANA的大数据平台架构,大数据平台架构包括对电力数据采集层,数据存储层和数据分析/展现层,该平台在高性能,数据集成,实时数据流分析和可靠性上具有很大的提高。对电力大数据平台的研究还存在很多不足之处,还有待在今后的学习和工作中进一步研究。
  参考文献
  [1]Liu Qingyun, Gao Shu, Cao Xiufeng, Chen Liangchen.Research Of The Security Situation Visual Analysis For Multidimensional Inland Navigation Based On Parallel Coordinates. The Third International Conference on Cyberspace Technology[C].EI: 20161802313580.
  [2]陈良臣.大数据挖掘与分析的关键技术研究[J].数字技术与应用,2015,11:093-096.
  [3]陈良臣.大数据可视分析的若干关键技术研究[J].数字技术与应用,2015,11:98-99.
百度搜索“爱华网”,专业资料、生活学习,尽在爱华网!  

爱华网本文地址 » http://www.aihuau.com/a/362751/27393633802.html

更多阅读

徽剑IT评点:撕下大数据下的数据挖掘面纱

一、大数据没那么神秘二、数据是会说话的三、数据挖掘的流程四、核心之一:领域专家建模五、核心之二:数据采集六、记住,大数据其实不是那么数学和计算机七、可以的应用一、大数据没那么神秘最近一年来谈大数据的很火,到处都在说

依托大数据分析下的广告家adpro 互联网广告数据分析

广告家adpro是中国最大的本地化营销自助平台,依托自身的大数据分析能力技术优势,建立了完整的场景化营销生态系统。广告家adpro覆盖率庞大,却能精准定向投放向目标用户,建立了本地媒体的生态系统。光音旗下的adpro广告家(procn)是中国最

mysql数据库搭建 大数据搭起的《纸牌屋》

系列专题:大数据营销      自进入21世纪以来,美国电视剧业无疑是全球娱乐界最璀璨的明星,尤其是在刚刚过去的2013年,美剧的发展继续向着画面精良、阵容强大、摄影专业的大制作发展。业界普遍认为,美国已进入了第二个电视黄金时代,而这

省广战略发布会 大数据时代的营销变革

系列专题:大数据营销      当我们回顾2013年,会发现各界对大数据的热情日益高涨。而究竟大数据对我们的意义是什么?它给我们的精准营销带来了什么样的变化?现在的大数据是否存在泡沫?其是否也存在着某种局限性?也许是时候进行总结和反

声明:《电力大数据平台 基于SAP HANA的电力大数据平台的研究与设计》为网友捕心达人分享!如侵犯到您的合法权益请联系我们删除