??介紹大數(shù)據(jù)技術(shù)的特點和優(yōu)勢，闡述大數(shù)據(jù)技術(shù)和智能變電站監(jiān)測系統(tǒng)之間的應(yīng)用聯(lián)系，分析如何能更好地在智能變電站監(jiān)測系統(tǒng)中發(fā)揮出大數(shù)據(jù)技術(shù)的優(yōu)點。

? 1 研究現(xiàn)狀

? 1.1 大數(shù)據(jù)分析技術(shù)研究現(xiàn)狀

? 如今是一個信息爆炸的時代，各種行業(yè)都會產(chǎn)生巨大的數(shù)據(jù)量，人們需要對這些數(shù)據(jù)進行深入的分析，并且探尋數(shù)據(jù)中的規(guī)律。然而，利用傳統(tǒng)分析數(shù)據(jù)的方法來處理這些規(guī)模龐大的數(shù)據(jù)顯然是非常困難的，數(shù)據(jù)呈現(xiàn)出一種數(shù)量多、類型多、分析復(fù)雜的趨勢，這是我們面臨的巨大挑戰(zhàn)，因此，大數(shù)據(jù)分析技術(shù)應(yīng)運而生。早在2004年谷歌公司就提出了一種能夠作為數(shù)據(jù)處理和大數(shù)據(jù)分析的并行計算模型的技術(shù)，提高了大數(shù)據(jù)處理的擴展性和可靠性。目前的大數(shù)據(jù)處理技術(shù)主要有內(nèi)存計算技術(shù)、分布式計算技術(shù)以及流式處理技術(shù)，分別適用于不同的領(lǐng)域：內(nèi)存計算技術(shù)能高效讀取數(shù)據(jù)并實時處理問題；分布式計算技術(shù)能解決大規(guī)模數(shù)據(jù)的存儲和處理；流式處理技術(shù)能解決實時的、連續(xù)的以及不受控制的數(shù)據(jù)流。

? 1.2 變電設(shè)備狀態(tài)監(jiān)測大數(shù)據(jù)分析研究現(xiàn)狀

? 一個智能變電站的狀態(tài)監(jiān)測系統(tǒng)是否優(yōu)良就在于其是否能夠快速有效的存儲、查詢和分析大規(guī)模的狀態(tài)檢測數(shù)據(jù)。傳統(tǒng)的數(shù)據(jù)分析技術(shù)只依賴于幾臺設(shè)備，如要滿足如今大數(shù)據(jù)的處理需求，就會對設(shè)備進行縱向擴展。這樣的改造不僅需要耗費大量的成本，而且在數(shù)量巨大的異構(gòu)數(shù)據(jù)前發(fā)揮不出應(yīng)有的優(yōu)勢，這是因為目前的智能變電站狀態(tài)監(jiān)測大數(shù)據(jù)分析方法存在以下問題：首先是大數(shù)據(jù)的集成和處理。目前各種變電設(shè)備的數(shù)據(jù)不斷增多，檢測技術(shù)也在不斷的更新和普及，因此智能變電站狀態(tài)檢測的數(shù)據(jù)在不斷的增加。僅對一個普通省電力公司一年產(chǎn)生的數(shù)據(jù)量進行估算，就有700多TB的數(shù)據(jù)量。況且智能變電設(shè)備狀態(tài)檢測的數(shù)據(jù)不僅包括當(dāng)前采集的數(shù)據(jù)，還包括許多之前的數(shù)據(jù)，這樣一來，對數(shù)據(jù)進行采集計算或是存儲分析都遇到了巨大的麻煩。同時，目前的智能變電站縮短了狀態(tài)接入控制器和傳感器的采集頻率，對狀態(tài)檢測數(shù)據(jù)進行更加精細的分類。因此，必須運用一種全新的方便快捷的方法對狀態(tài)檢測數(shù)據(jù)進行集成和處理。其次是數(shù)據(jù)的不穩(wěn)定性。傳統(tǒng)的數(shù)據(jù)庫是先有一個固定的模式，接著產(chǎn)生相應(yīng)的數(shù)據(jù)。但在目前的電力大數(shù)據(jù)時代中很難再套用傳統(tǒng)的模式，因為智能變電站的狀態(tài)檢測數(shù)據(jù)具有不確定性，只有出現(xiàn)了大量數(shù)據(jù)之后才能確定對應(yīng)的模式。此外，這個模式也不是一成不變的，隨著數(shù)據(jù)量的增多，模式也會相應(yīng)的發(fā)生變化。最后是分析需求的深度性。對于狀態(tài)數(shù)據(jù)不能只滿足于現(xiàn)階段的檢測和分析，而應(yīng)該根據(jù)數(shù)據(jù)對未來的趨勢進行更加深入的預(yù)測和分析。應(yīng)轉(zhuǎn)變自身的觀念，從常規(guī)分析轉(zhuǎn)化到深度分析，為電網(wǎng)經(jīng)濟安全的運行以及用戶的需求考慮。

? 2 變電設(shè)備狀態(tài)監(jiān)測大數(shù)據(jù)分析平臺的設(shè)計

? 2.1 傳統(tǒng)變電設(shè)備狀態(tài)監(jiān)測平臺架構(gòu)

? 目前大多數(shù)電力公司的設(shè)備狀態(tài)檢測數(shù)據(jù)中心主要包括四部分，分別是數(shù)據(jù)獲取層、數(shù)據(jù)存儲和管理以及數(shù)據(jù)訪問層。建立狀態(tài)檢測數(shù)據(jù)平臺的基礎(chǔ)就是進行數(shù)據(jù)獲取，把那些傳統(tǒng)關(guān)系型數(shù)據(jù)庫中的歷史數(shù)據(jù)源和變電系統(tǒng)設(shè)備狀態(tài)監(jiān)測的數(shù)據(jù)經(jīng)過抽取、轉(zhuǎn)化、清洗以及裝載這四步處理后存儲在數(shù)據(jù)倉庫中。首先進行數(shù)據(jù)抽取，抽取的方法是選取多個不同狀態(tài)的檢測系統(tǒng)，根據(jù)主題從里面抽取一些歷史數(shù)據(jù)和實時的監(jiān)測數(shù)據(jù)并進行組織。這些數(shù)據(jù)關(guān)系到智能變電站的一些決策分析，每個公司都需要每天更新TB級別甚至高于TB級別的狀態(tài)檢測數(shù)據(jù)，根據(jù)抽取的頻率進行數(shù)據(jù)抽取，在過程中要減少對源系統(tǒng)的修改；其次是數(shù)據(jù)的轉(zhuǎn)化，這一步可以解決設(shè)備監(jiān)測的狀態(tài)數(shù)據(jù)不一致的問題。把從不同設(shè)備中抽取的數(shù)據(jù)進行合并或是轉(zhuǎn)化類型，使所有數(shù)據(jù)的類型和格式都保持一致。接著是數(shù)據(jù)的清洗。這一步主要是去除一些無意義的數(shù)據(jù)的同時抽取下一步可能會用到的數(shù)據(jù)。把那些不適用的字段過濾掉，這樣既可節(jié)省存儲空間，又節(jié)省了以后掃描的成本。最后是數(shù)據(jù)的裝載。上一步去除了一些臟數(shù)據(jù)，數(shù)據(jù)裝載就是按照數(shù)據(jù)模型的類型把去除的數(shù)據(jù)載入相應(yīng)的數(shù)據(jù)倉庫中。此外，數(shù)據(jù)裝載還能夠恢復(fù)數(shù)據(jù)、備份數(shù)據(jù)以及提供錯誤報告。構(gòu)建變電站設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)中心的重要環(huán)節(jié)就是數(shù)據(jù)存儲和分析層，它是通過經(jīng)典的模型來組織數(shù)據(jù)，例如星型模型和雪花型模型，再使用OLAP工具讀取數(shù)據(jù)庫中的數(shù)據(jù)，最后通過ROLAP技術(shù)來訪問數(shù)據(jù)倉庫或是使用MOLAP技術(shù)生成數(shù)據(jù)立方體。ROLAP數(shù)據(jù)模型大多采用星型模型和雪花型模型，其優(yōu)點是存儲的基礎(chǔ)是關(guān)系型數(shù)據(jù)庫，而如今的關(guān)系型數(shù)據(jù)庫技術(shù)發(fā)展較為成熟，因此有利于提升效率。然而智能變電站設(shè)備狀態(tài)檢測數(shù)據(jù)的數(shù)量級在不斷增長，如果仍然只有現(xiàn)有的功能，不能滿足當(dāng)今電力企業(yè)的發(fā)展。MOLAP技術(shù)采用的是多維數(shù)據(jù)模型，其優(yōu)點是數(shù)據(jù)立方體是多維矩陣，存儲的是狀態(tài)檢測的維信息，通過索引可以知道監(jiān)測數(shù)據(jù)在數(shù)據(jù)立方體中的詳細位置。這樣一來，大大提高了OLAP的響應(yīng)速度。但MOLAP技術(shù)也存在著集中存儲多維數(shù)據(jù)模型從而占用大量空間導(dǎo)致存儲代價大的缺點。數(shù)據(jù)訪問層包含查詢統(tǒng)計和用戶接口等一些功能，方便用戶提交訪問申請和管理數(shù)據(jù)。這些功能的實施需要數(shù)據(jù)存儲和分析層的支持。各公司間的系統(tǒng)和資源存在差別，因此構(gòu)建數(shù)據(jù)平臺有一定的難度。傳統(tǒng)的狀態(tài)數(shù)據(jù)監(jiān)測平臺無法做到存儲數(shù)據(jù)優(yōu)化和并行處理，而大數(shù)據(jù)分析技術(shù)有效地整合了大規(guī)模的數(shù)據(jù)，提高了數(shù)據(jù)利用率，實現(xiàn)了信息共享。

? 2.2 大數(shù)據(jù)分析技術(shù)下變電設(shè)備狀態(tài)監(jiān)測平臺的設(shè)計

? 傳統(tǒng)的方法雖然井井有條，但是會導(dǎo)致系統(tǒng)的擴展性變差，同時成本較高，不能達到預(yù)測趨勢的目的。在大數(shù)據(jù)分析技術(shù)下，應(yīng)適當(dāng)?shù)倪\用一些工具構(gòu)建一種全新的檢測平臺。針對大數(shù)據(jù)變電分析技術(shù)和變電設(shè)備狀態(tài)監(jiān)測大數(shù)據(jù)分析的研究現(xiàn)狀，我們提出一個解決方案。在數(shù)據(jù)采集層，通過狀態(tài)接入控制器、傳感器等一些設(shè)備來采集變電設(shè)備數(shù)據(jù)，用Web服務(wù)的方式傳送給狀態(tài)接入網(wǎng)關(guān)機。針對設(shè)備數(shù)據(jù)量數(shù)量大的特點，應(yīng)把傳統(tǒng)型的關(guān)系數(shù)據(jù)庫移到非關(guān)系型數(shù)據(jù)庫中；針對數(shù)據(jù)類型復(fù)雜，可利用開源工具對數(shù)據(jù)進行抽取、轉(zhuǎn)化和裝載，等數(shù)據(jù)進行關(guān)聯(lián)和聚合后再進行存儲。在完成查詢、計算和統(tǒng)計的分析任務(wù)之后，Sqoop可以把分析出的結(jié)果導(dǎo)到外部的數(shù)據(jù)庫中以供用戶查看。在數(shù)據(jù)存儲層，可根據(jù)分布式文件系統(tǒng)HDFS和關(guān)系型數(shù)據(jù)庫MySQL的優(yōu)勢對它們進行整合，使它們在各自擅長的領(lǐng)域發(fā)揮優(yōu)勢作用。把那些具有統(tǒng)一規(guī)范的狀態(tài)檢測數(shù)據(jù)存儲在分布式文件系統(tǒng)HDFS中，把那些變電設(shè)備狀態(tài)檢測的各個模型信息和管理Hive的元數(shù)據(jù)（例如Hive創(chuàng)建的表、字段和間隔符）存儲在MySQL中。在數(shù)據(jù)分析層，可根據(jù)檢測數(shù)據(jù)的映射不同，選擇不同的數(shù)據(jù)分析方案對變電設(shè)備狀態(tài)檢測數(shù)據(jù)進行OLAP分析。在數(shù)據(jù)展現(xiàn)層加入更多的功能組件，如統(tǒng)計查詢、數(shù)據(jù)挖掘以及輔助決策等，為變電設(shè)備生產(chǎn)管理和輔助決策提供較為準(zhǔn)確的信息，也為各種變電設(shè)備提供信息預(yù)警、分析、診斷、評估和預(yù)測功能。

? 參考文獻

? [1]大數(shù)據(jù)分析在智能變電站狀態(tài)監(jiān)測系統(tǒng)中的應(yīng)用研究[D].華北電力大學(xué),2016.

? [2]陳翔宇,羅懌等.新一代智能變電站變電設(shè)備狀態(tài)評估大數(shù)據(jù)分析應(yīng)用展望[J].電力信息與通信技術(shù) ,2016(8).

? [3]張歡歡,唐巾鴻等.淺析大數(shù)據(jù)處理技術(shù)在智能變電站中的應(yīng)用[J].科技創(chuàng)新導(dǎo)報,2018,15(24):2-3.

? ? ? ? ? ? ? -----------------------來源：微信公眾號中國電力設(shè)備管理協(xié)會