关键词:大数据 SAP HANA 电力大数据 电力系统
中图分类号:TP311.13 文献标识码:A 文章编号:1007-9416(2016)11-0150-01
近年来,国内许多电力企业的业务不断发展,除了传统的火电发电,还涉及风力发电、光伏发电、电站检修和运营服务等方面业务。为了加快两化融合,促进企业管理及信息化双提升要求是建设企业运营管理系统的大数据平台的关键驱动因素,大数据平台的建成将成为企业管理及信息化运转的驱动引擎,是加快电力信息化规划实现步伐。
通过大数据平台建设,形成全公司范围的运营管理解决方案,保障企业管理工作标准化、规范化、精细化、高效化,真正为决策服务。电力企业大数据平台具有业务数据量大,分析模式复杂,数据读取频繁,等诸多特点,如何利用最前沿的软硬一体的大数据库应用支撑是摆在电力企业运营管理系统建设面前的重要难题。
1 大数据定义与特征
大数据又称海量数据,指的是所涉及的数据规模巨大,以至于目前已有的软件工具无法在合理时间内,处理、管理、挖掘这些数据,并将其整理成为帮助企业经营决策更积极目的的信息。大数据的4V特征:数量(Volume),即数据巨大;多样性(Variety),即数据类型繁多;速度(Velocity),即处理速度快;价值性(Veracity),即追求高质量的数据。
2 SAP HANA技术
SAP HANA提供多用途的内存应用设备,企业可以利用它即时掌握业务运营情况,从而对所有可用的数据进行分析,并对快速变化的业务环境做出迅速响应。
通过SAP HANA,企业可以在业务运作期间基于海量实时详细信息分析业务运营情况。企业可以探索和分析来源于所有数据源的全部交易数据和分析数据。运营数据在产生时由内存获取,并通过灵活的视图迅速将分析信息呈现给用户。外部数据可轻松的被添加至分析模型,与整个企业的数据进行整合。
3 电力大数据平台的架构设计
电力大数据平台系统具有业务数据量大,分析模式复杂,数据读取频繁,等诸多特点,如何利用最前沿的软硬一体的大数据库应用支撑是摆在电力企业运营管理系统建设面前的重要难题。
3.1 电力大数据平台架构
将数据平台总体架构划分为三大层:采集层,存储层以及分析/展现层。这种架构,是对传统标准企业级数据仓库架构的扩展,既能满足一个数据中心平台层面的所有需求,又具备充分的前瞻性,为未来EOM提供实时、兼具广度和深度的大数据应用提供支撑。

3.2 数据采集层设计
数据抽取、转换、加载的任务将在此处完成。整个平台的数据整合能力将由SAP HANA Smart Data Integrator来提供,通过开放的数据接口连接各种类型的底层数据源,并且在数据加载的同时进行第一轮的数据清洗任务,提高保证数据的规范性。
3.3 数据存储层设计
数据存储管理是本方案的核心部分。在整个方案设计中,SAP建议把数据按照数据的时效性分层管理,即历史数据和活动数据。历史数据部分包含所有的分析数据,存放电力企业历年来的数据。活动数据(热点数据)部分包含日常分析中最常使用的数据,所有的前端分析数据都将在活动数据中命中,在活动数据中将进行保证最大的数据分析并提高和数据检索效率。
3.4 数据分析/展现层
SAP建议使用SAP BusinessObject作为整体的数据展现平台。BO中的语义层工具Information Designer Tool(IDT)将负责业务数据模型的整体管理,通过IDT中的数据调用,把需要展现的数据输送给前端工具进行报表展示。
4 关键技术及方案优势
高性能内存计算技术:数据分析应用,对实效性往往要求极高,对数据存储平台提出了更高的要求:高速的数据装载的同时,提供毫秒级的查询响应。全面的数据集成能力:本方案ETL工具将利用SAP数据采集系统SAP Data Integrator,这是一个专门面向企业信息管理的应用平台,帮助企业迁移、转变和提升数据。实时数据流分析能力:SAP在信息集成过程,增加了独一无二的架构――基于内存的实时数据流处理机制,把需要处理的数据在内存中流动起来,高效地输送到各个处理环节,实现高频次、小批量的数据处理调度,到达高吞吐量、低延时的理想效果。
5 结语
本文提出了一套针对电力系统的解决方案和基于SAP HANA的大数据平台架构,大数据平台架构包括对电力数据采集层,数据存储层和数据分析/展现层,该平台在高性能,数据集成,实时数据流分析和可靠性上具有很大的提高。对电力大数据平台的研究还存在很多不足之处,还有待在今后的学习和工作中进一步研究。
参考文献
[1]Liu Qingyun, Gao Shu, Cao Xiufeng, Chen Liangchen.Research Of The Security Situation Visual Analysis For Multidimensional Inland Navigation Based On Parallel Coordinates. The Third International Conference on Cyberspace Technology[C].EI: 20161802313580.
[2]陈良臣.大数据挖掘与分析的关键技术研究[J].数字技术与应用,2015,11:093-096.
[3]陈良臣.大数据可视分析的若干关键技术研究[J].数字技术与应用,2015,11:98-99.
百度搜索“爱华网”,专业资料、生活学习,尽在爱华网!