??介紹大數(shù)據(jù)技術(shù)的特點(diǎn)和優(yōu)勢(shì)，闡述大數(shù)據(jù)技術(shù)和智能變電站監(jiān)測(cè)系統(tǒng)之間的應(yīng)用聯(lián)系，分析如何能更好地在智能變電站監(jiān)測(cè)系統(tǒng)中發(fā)揮出大數(shù)據(jù)技術(shù)的優(yōu)點(diǎn)。

? 1 研究現(xiàn)狀

? 1.1 大數(shù)據(jù)分析技術(shù)研究現(xiàn)狀

? 如今是一個(gè)信息爆炸的時(shí)代，各種行業(yè)都會(huì)產(chǎn)生巨大的數(shù)據(jù)量，人們需要對(duì)這些數(shù)據(jù)進(jìn)行深入的分析，并且探尋數(shù)據(jù)中的規(guī)律。然而，利用傳統(tǒng)分析數(shù)據(jù)的方法來處理這些規(guī)模龐大的數(shù)據(jù)顯然是非常困難的，數(shù)據(jù)呈現(xiàn)出一種數(shù)量多、類型多、分析復(fù)雜的趨勢(shì)，這是我們面臨的巨大挑戰(zhàn)，因此，大數(shù)據(jù)分析技術(shù)應(yīng)運(yùn)而生。早在2004年谷歌公司就提出了一種能夠作為數(shù)據(jù)處理和大數(shù)據(jù)分析的并行計(jì)算模型的技術(shù)，提高了大數(shù)據(jù)處理的擴(kuò)展性和可靠性。目前的大數(shù)據(jù)處理技術(shù)主要有內(nèi)存計(jì)算技術(shù)、分布式計(jì)算技術(shù)以及流式處理技術(shù)，分別適用于不同的領(lǐng)域：內(nèi)存計(jì)算技術(shù)能高效讀取數(shù)據(jù)并實(shí)時(shí)處理問題；分布式計(jì)算技術(shù)能解決大規(guī)模數(shù)據(jù)的存儲(chǔ)和處理；流式處理技術(shù)能解決實(shí)時(shí)的、連續(xù)的以及不受控制的數(shù)據(jù)流。

? 1.2 變電設(shè)備狀態(tài)監(jiān)測(cè)大數(shù)據(jù)分析研究現(xiàn)狀

? 一個(gè)智能變電站的狀態(tài)監(jiān)測(cè)系統(tǒng)是否優(yōu)良就在于其是否能夠快速有效的存儲(chǔ)、查詢和分析大規(guī)模的狀態(tài)檢測(cè)數(shù)據(jù)。傳統(tǒng)的數(shù)據(jù)分析技術(shù)只依賴于幾臺(tái)設(shè)備，如要滿足如今大數(shù)據(jù)的處理需求，就會(huì)對(duì)設(shè)備進(jìn)行縱向擴(kuò)展。這樣的改造不僅需要耗費(fèi)大量的成本，而且在數(shù)量巨大的異構(gòu)數(shù)據(jù)前發(fā)揮不出應(yīng)有的優(yōu)勢(shì)，這是因?yàn)槟壳暗闹悄茏冸娬緺顟B(tài)監(jiān)測(cè)大數(shù)據(jù)分析方法存在以下問題：首先是大數(shù)據(jù)的集成和處理。目前各種變電設(shè)備的數(shù)據(jù)不斷增多，檢測(cè)技術(shù)也在不斷的更新和普及，因此智能變電站狀態(tài)檢測(cè)的數(shù)據(jù)在不斷的增加。僅對(duì)一個(gè)普通省電力公司一年產(chǎn)生的數(shù)據(jù)量進(jìn)行估算，就有700多TB的數(shù)據(jù)量。況且智能變電設(shè)備狀態(tài)檢測(cè)的數(shù)據(jù)不僅包括當(dāng)前采集的數(shù)據(jù)，還包括許多之前的數(shù)據(jù)，這樣一來，對(duì)數(shù)據(jù)進(jìn)行采集計(jì)算或是存儲(chǔ)分析都遇到了巨大的麻煩。同時(shí)，目前的智能變電站縮短了狀態(tài)接入控制器和傳感器的采集頻率，對(duì)狀態(tài)檢測(cè)數(shù)據(jù)進(jìn)行更加精細(xì)的分類。因此，必須運(yùn)用一種全新的方便快捷的方法對(duì)狀態(tài)檢測(cè)數(shù)據(jù)進(jìn)行集成和處理。其次是數(shù)據(jù)的不穩(wěn)定性。傳統(tǒng)的數(shù)據(jù)庫(kù)是先有一個(gè)固定的模式，接著產(chǎn)生相應(yīng)的數(shù)據(jù)。但在目前的電力大數(shù)據(jù)時(shí)代中很難再套用傳統(tǒng)的模式，因?yàn)橹悄茏冸娬镜臓顟B(tài)檢測(cè)數(shù)據(jù)具有不確定性，只有出現(xiàn)了大量數(shù)據(jù)之后才能確定對(duì)應(yīng)的模式。此外，這個(gè)模式也不是一成不變的，隨著數(shù)據(jù)量的增多，模式也會(huì)相應(yīng)的發(fā)生變化。最后是分析需求的深度性。對(duì)于狀態(tài)數(shù)據(jù)不能只滿足于現(xiàn)階段的檢測(cè)和分析，而應(yīng)該根據(jù)數(shù)據(jù)對(duì)未來的趨勢(shì)進(jìn)行更加深入的預(yù)測(cè)和分析。應(yīng)轉(zhuǎn)變自身的觀念，從常規(guī)分析轉(zhuǎn)化到深度分析，為電網(wǎng)經(jīng)濟(jì)安全的運(yùn)行以及用戶的需求考慮。

? 2 變電設(shè)備狀態(tài)監(jiān)測(cè)大數(shù)據(jù)分析平臺(tái)的設(shè)計(jì)

? 2.1 傳統(tǒng)變電設(shè)備狀態(tài)監(jiān)測(cè)平臺(tái)架構(gòu)

? 目前大多數(shù)電力公司的設(shè)備狀態(tài)檢測(cè)數(shù)據(jù)中心主要包括四部分，分別是數(shù)據(jù)獲取層、數(shù)據(jù)存儲(chǔ)和管理以及數(shù)據(jù)訪問層。建立狀態(tài)檢測(cè)數(shù)據(jù)平臺(tái)的基礎(chǔ)就是進(jìn)行數(shù)據(jù)獲取，把那些傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)中的歷史數(shù)據(jù)源和變電系統(tǒng)設(shè)備狀態(tài)監(jiān)測(cè)的數(shù)據(jù)經(jīng)過抽取、轉(zhuǎn)化、清洗以及裝載這四步處理后存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中。首先進(jìn)行數(shù)據(jù)抽取，抽取的方法是選取多個(gè)不同狀態(tài)的檢測(cè)系統(tǒng)，根據(jù)主題從里面抽取一些歷史數(shù)據(jù)和實(shí)時(shí)的監(jiān)測(cè)數(shù)據(jù)并進(jìn)行組織。這些數(shù)據(jù)關(guān)系到智能變電站的一些決策分析，每個(gè)公司都需要每天更新TB級(jí)別甚至高于TB級(jí)別的狀態(tài)檢測(cè)數(shù)據(jù)，根據(jù)抽取的頻率進(jìn)行數(shù)據(jù)抽取，在過程中要減少對(duì)源系統(tǒng)的修改；其次是數(shù)據(jù)的轉(zhuǎn)化，這一步可以解決設(shè)備監(jiān)測(cè)的狀態(tài)數(shù)據(jù)不一致的問題。把從不同設(shè)備中抽取的數(shù)據(jù)進(jìn)行合并或是轉(zhuǎn)化類型，使所有數(shù)據(jù)的類型和格式都保持一致。接著是數(shù)據(jù)的清洗。這一步主要是去除一些無意義的數(shù)據(jù)的同時(shí)抽取下一步可能會(huì)用到的數(shù)據(jù)。把那些不適用的字段過濾掉，這樣既可節(jié)省存儲(chǔ)空間，又節(jié)省了以后掃描的成本。最后是數(shù)據(jù)的裝載。上一步去除了一些臟數(shù)據(jù)，數(shù)據(jù)裝載就是按照數(shù)據(jù)模型的類型把去除的數(shù)據(jù)載入相應(yīng)的數(shù)據(jù)倉(cāng)庫(kù)中。此外，數(shù)據(jù)裝載還能夠恢復(fù)數(shù)據(jù)、備份數(shù)據(jù)以及提供錯(cuò)誤報(bào)告。構(gòu)建變電站設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)中心的重要環(huán)節(jié)就是數(shù)據(jù)存儲(chǔ)和分析層，它是通過經(jīng)典的模型來組織數(shù)據(jù)，例如星型模型和雪花型模型，再使用OLAP工具讀取數(shù)據(jù)庫(kù)中的數(shù)據(jù)，最后通過ROLAP技術(shù)來訪問數(shù)據(jù)倉(cāng)庫(kù)或是使用MOLAP技術(shù)生成數(shù)據(jù)立方體。ROLAP數(shù)據(jù)模型大多采用星型模型和雪花型模型，其優(yōu)點(diǎn)是存儲(chǔ)的基礎(chǔ)是關(guān)系型數(shù)據(jù)庫(kù)，而如今的關(guān)系型數(shù)據(jù)庫(kù)技術(shù)發(fā)展較為成熟，因此有利于提升效率。然而智能變電站設(shè)備狀態(tài)檢測(cè)數(shù)據(jù)的數(shù)量級(jí)在不斷增長(zhǎng)，如果仍然只有現(xiàn)有的功能，不能滿足當(dāng)今電力企業(yè)的發(fā)展。MOLAP技術(shù)采用的是多維數(shù)據(jù)模型，其優(yōu)點(diǎn)是數(shù)據(jù)立方體是多維矩陣，存儲(chǔ)的是狀態(tài)檢測(cè)的維信息，通過索引可以知道監(jiān)測(cè)數(shù)據(jù)在數(shù)據(jù)立方體中的詳細(xì)位置。這樣一來，大大提高了OLAP的響應(yīng)速度。但MOLAP技術(shù)也存在著集中存儲(chǔ)多維數(shù)據(jù)模型從而占用大量空間導(dǎo)致存儲(chǔ)代價(jià)大的缺點(diǎn)。數(shù)據(jù)訪問層包含查詢統(tǒng)計(jì)和用戶接口等一些功能，方便用戶提交訪問申請(qǐng)和管理數(shù)據(jù)。這些功能的實(shí)施需要數(shù)據(jù)存儲(chǔ)和分析層的支持。各公司間的系統(tǒng)和資源存在差別，因此構(gòu)建數(shù)據(jù)平臺(tái)有一定的難度。傳統(tǒng)的狀態(tài)數(shù)據(jù)監(jiān)測(cè)平臺(tái)無法做到存儲(chǔ)數(shù)據(jù)優(yōu)化和并行處理，而大數(shù)據(jù)分析技術(shù)有效地整合了大規(guī)模的數(shù)據(jù)，提高了數(shù)據(jù)利用率，實(shí)現(xiàn)了信息共享。

? 2.2 大數(shù)據(jù)分析技術(shù)下變電設(shè)備狀態(tài)監(jiān)測(cè)平臺(tái)的設(shè)計(jì)

? 傳統(tǒng)的方法雖然井井有條，但是會(huì)導(dǎo)致系統(tǒng)的擴(kuò)展性變差，同時(shí)成本較高，不能達(dá)到預(yù)測(cè)趨勢(shì)的目的。在大數(shù)據(jù)分析技術(shù)下，應(yīng)適當(dāng)?shù)倪\(yùn)用一些工具構(gòu)建一種全新的檢測(cè)平臺(tái)。針對(duì)大數(shù)據(jù)變電分析技術(shù)和變電設(shè)備狀態(tài)監(jiān)測(cè)大數(shù)據(jù)分析的研究現(xiàn)狀，我們提出一個(gè)解決方案。在數(shù)據(jù)采集層，通過狀態(tài)接入控制器、傳感器等一些設(shè)備來采集變電設(shè)備數(shù)據(jù)，用Web服務(wù)的方式傳送給狀態(tài)接入網(wǎng)關(guān)機(jī)。針對(duì)設(shè)備數(shù)據(jù)量數(shù)量大的特點(diǎn)，應(yīng)把傳統(tǒng)型的關(guān)系數(shù)據(jù)庫(kù)移到非關(guān)系型數(shù)據(jù)庫(kù)中；針對(duì)數(shù)據(jù)類型復(fù)雜，可利用開源工具對(duì)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)化和裝載，等數(shù)據(jù)進(jìn)行關(guān)聯(lián)和聚合后再進(jìn)行存儲(chǔ)。在完成查詢、計(jì)算和統(tǒng)計(jì)的分析任務(wù)之后，Sqoop可以把分析出的結(jié)果導(dǎo)到外部的數(shù)據(jù)庫(kù)中以供用戶查看。在數(shù)據(jù)存儲(chǔ)層，可根據(jù)分布式文件系統(tǒng)HDFS和關(guān)系型數(shù)據(jù)庫(kù)MySQL的優(yōu)勢(shì)對(duì)它們進(jìn)行整合，使它們?cè)诟髯陨瞄L(zhǎng)的領(lǐng)域發(fā)揮優(yōu)勢(shì)作用。把那些具有統(tǒng)一規(guī)范的狀態(tài)檢測(cè)數(shù)據(jù)存儲(chǔ)在分布式文件系統(tǒng)HDFS中，把那些變電設(shè)備狀態(tài)檢測(cè)的各個(gè)模型信息和管理Hive的元數(shù)據(jù)（例如Hive創(chuàng)建的表、字段和間隔符）存儲(chǔ)在MySQL中。在數(shù)據(jù)分析層，可根據(jù)檢測(cè)數(shù)據(jù)的映射不同，選擇不同的數(shù)據(jù)分析方案對(duì)變電設(shè)備狀態(tài)檢測(cè)數(shù)據(jù)進(jìn)行OLAP分析。在數(shù)據(jù)展現(xiàn)層加入更多的功能組件，如統(tǒng)計(jì)查詢、數(shù)據(jù)挖掘以及輔助決策等，為變電設(shè)備生產(chǎn)管理和輔助決策提供較為準(zhǔn)確的信息，也為各種變電設(shè)備提供信息預(yù)警、分析、診斷、評(píng)估和預(yù)測(cè)功能。

? 參考文獻(xiàn)

? [1]大數(shù)據(jù)分析在智能變電站狀態(tài)監(jiān)測(cè)系統(tǒng)中的應(yīng)用研究[D].華北電力大學(xué),2016.

? [2]陳翔宇,羅懌等.新一代智能變電站變電設(shè)備狀態(tài)評(píng)估大數(shù)據(jù)分析應(yīng)用展望[J].電力信息與通信技術(shù) ,2016(8).

? [3]張歡歡,唐巾鴻等.淺析大數(shù)據(jù)處理技術(shù)在智能變電站中的應(yīng)用[J].科技創(chuàng)新導(dǎo)報(bào),2018,15(24):2-3.

? ? ? ? ? ? ? -----------------------來源：微信公眾號(hào)中國(guó)電力設(shè)備管理協(xié)會(huì)