物聯(lián)傳媒 旗下網(wǎng)站
登錄 注冊(cè)

易鯨捷劉明:海量數(shù)據(jù)爆發(fā)在即,數(shù)據(jù)庫能力日趨重要

作者:飛鳥黃
來源:物聯(lián)網(wǎng)世界
日期:2018-08-20 10:50:51
摘要:如何存放海量數(shù)據(jù),如何對(duì)海量數(shù)據(jù)進(jìn)行高性能的計(jì)算?

  數(shù)據(jù),毫無疑問是物聯(lián)網(wǎng)萬物互聯(lián)愿景背后的最核心意義。此前,Gartner報(bào)告顯示,全球IoT數(shù)據(jù)量正在以每年59%的速度遞增,如何管理海量數(shù)據(jù)即將成為物聯(lián)網(wǎng)行業(yè)一項(xiàng)極大的挑戰(zhàn)。

  7月31日,由中國物聯(lián)網(wǎng)產(chǎn)業(yè)應(yīng)用聯(lián)盟主辦、深圳市物聯(lián)傳媒承辦的2018深圳國際物聯(lián)網(wǎng)平臺(tái)與數(shù)據(jù)安全高峰論壇 于深圳會(huì)展中心順利舉行。貴州易鯨捷信息技術(shù)有限公司首席產(chǎn)品架構(gòu)師劉明 受邀出席論壇,并以數(shù)據(jù)庫有關(guān)的技術(shù)及市場應(yīng)用為話題進(jìn)行演講分享。

  貴州易鯨捷信息技術(shù)有限公司首席產(chǎn)品架構(gòu)師 劉明

  劉明表示,相較于互聯(lián)網(wǎng),物聯(lián)網(wǎng)其實(shí)仍然處于尚未成熟的階段。僅看目前的眾多終端設(shè)備,或者是無法接入網(wǎng)絡(luò),或者是即便連上,產(chǎn)生的數(shù)據(jù)也無法用來進(jìn)行完整研究。但一旦以上環(huán)節(jié)成熟,如何存放海量數(shù)據(jù),如何對(duì)海量數(shù)據(jù)進(jìn)行高性能的計(jì)算 ,是未來數(shù)據(jù)庫需要面臨的技術(shù)挑戰(zhàn) 。

  一、物聯(lián)網(wǎng)需要什么樣的數(shù)據(jù)庫?

  傳統(tǒng)數(shù)據(jù)庫經(jīng)過幾十年的發(fā)展已經(jīng)非常成熟。比如OLTP數(shù)據(jù)庫非常擅長數(shù)據(jù)的實(shí)時(shí)入庫增刪改查,但仍存在性能不足,往往使用單機(jī)系統(tǒng)而無法應(yīng)對(duì)海量數(shù)據(jù)分析的缺陷;又比如OLAP數(shù)據(jù)庫非常擅長海量數(shù)據(jù)的快速高性能匯總計(jì)算,但缺乏實(shí)時(shí)性,常常作為離線批處理系統(tǒng),將積累了幾個(gè)小時(shí)甚至更長時(shí)間的數(shù)據(jù)進(jìn)行一次批量入庫與分析,無法滿足物聯(lián)網(wǎng)要求實(shí)時(shí)性的眾多場景需求。

  于是,針對(duì)新時(shí)代下高并發(fā)、實(shí)時(shí)性的數(shù)據(jù)處理需求,后續(xù)還出現(xiàn)了NoSQL數(shù)據(jù)庫,以解決傳統(tǒng)數(shù)據(jù)庫難以協(xié)同解決的問題。但NoSQL種類繁多,往往是為了解決某一個(gè)特定的場景而高度定制化,往往導(dǎo)致每一款數(shù)據(jù)庫的開發(fā)接口、開發(fā)方法都是特殊的,缺乏統(tǒng)一標(biāo)準(zhǔn),也限制了通用性。

  所以,當(dāng)我們考慮數(shù)據(jù)庫需要具備的能力時(shí),就要考慮它能否實(shí)現(xiàn)數(shù)據(jù)的快速收集、快速入庫、實(shí)時(shí)分析 ,以及具備一定程度的行業(yè)通用性 。

  二、數(shù)據(jù)庫能給企業(yè)帶來什么好處?

  對(duì)這一點(diǎn),劉明先生用了易鯨捷數(shù)據(jù)庫EsgynDB的3個(gè)實(shí)例,說明了數(shù)據(jù)庫在物聯(lián)網(wǎng)時(shí)代的典型作用及優(yōu)勢。

  在電力系統(tǒng)的應(yīng)用

  以往,國家電網(wǎng)的數(shù)據(jù)庫能力有限,入庫速度不足,家庭電表每天只能采集數(shù)據(jù)一次,企業(yè)電表每小時(shí)采集數(shù)據(jù)一次。這樣的時(shí)效限制,毫無疑問影響了企業(yè)對(duì)用電量的預(yù)測、對(duì)電力調(diào)度的合理性分析,也導(dǎo)致國家電網(wǎng)需要10%以上的電能冗余來保證電壓的穩(wěn)定和安全。

  那么面對(duì)智能電網(wǎng)的發(fā)展需求,首先就要提高數(shù)據(jù)的采集頻率。在易鯨捷與某省國家電網(wǎng)的合作項(xiàng)目中,就將3800萬塊電表信息的采集頻率由每天一次提升到每2分鐘一次,大大實(shí)現(xiàn)了節(jié)能降耗的國家戰(zhàn)略級(jí)目標(biāo)。

  在商業(yè)地產(chǎn)/廣場中的應(yīng)用

  在易鯨捷與萬達(dá)集團(tuán)的項(xiàng)目合作中,最初是將萬達(dá)商業(yè)地產(chǎn)/廣場中近11萬塊智能電表信息全部錄到數(shù)據(jù)庫里,進(jìn)行數(shù)據(jù)的實(shí)時(shí)入庫與分析,已便企業(yè)進(jìn)行理解反饋。而目前,不光是電表,包括商場的溫度、濕度、新風(fēng)等各系統(tǒng)的數(shù)據(jù)采集都可以加載進(jìn)EsgynDB中,全面實(shí)現(xiàn)商業(yè)地產(chǎn)在能耗上的管理控制。此外,EsgynDB可以存儲(chǔ)過去半年、一年甚至更久的數(shù)據(jù),進(jìn)而利用人工智能模型得出最適宜的溫度、濕度等,一方面打造舒適的購物環(huán)境,另一方面為商場能源管理帶來好處。

  在智能制造中的應(yīng)用

  以往,工業(yè)制造的諸多生產(chǎn)環(huán)節(jié)只能依靠老師傅的經(jīng)驗(yàn),缺乏一定的數(shù)據(jù)表現(xiàn)力。對(duì)此,在這次的三方產(chǎn)業(yè)研合作里,面對(duì)著機(jī)床刀具的適時(shí)更換及故障判斷這一命題,富士康負(fù)責(zé)提供生產(chǎn)經(jīng)驗(yàn)知識(shí)庫,華中科技大學(xué)周濟(jì)院士團(tuán)隊(duì)負(fù)責(zé)AI算法,易鯨捷則負(fù)責(zé)數(shù)據(jù)庫支撐與整體智能平臺(tái)。最終實(shí)現(xiàn)數(shù)據(jù)采集、經(jīng)驗(yàn)分析、數(shù)據(jù)建模及趨勢判斷,幫助匹配企業(yè)現(xiàn)有IT體系,改善企業(yè)經(jīng)營數(shù)據(jù)的實(shí)時(shí)分析,優(yōu)化產(chǎn)線投入產(chǎn)出比。

  從以上案例也可看出,物聯(lián)網(wǎng)數(shù)據(jù)的采集、存儲(chǔ)、分析等功能的實(shí)現(xiàn)離不開數(shù)據(jù)庫的運(yùn)維,并且數(shù)據(jù)庫需要具備一定程度的通用性,以便在物聯(lián)網(wǎng)不同行業(yè)領(lǐng)域?qū)崿F(xiàn)快速的布局運(yùn)作。

  三、結(jié)語

  數(shù)據(jù)庫作為一項(xiàng)通用應(yīng)用,技術(shù)實(shí)現(xiàn)上通常存在較高門檻,需要專業(yè)的團(tuán)隊(duì)來運(yùn)營維護(hù)。比如易鯨捷所推出的這款基于Hadoop大數(shù)據(jù)平臺(tái)的企業(yè)級(jí)分布式數(shù)據(jù)庫EsgynDB,融合了成熟的SQL、HTAP、很好的擴(kuò)展性三大特點(diǎn),具備明顯的性能優(yōu)勢,在智能制造、智能電網(wǎng)等領(lǐng)域產(chǎn)生了多項(xiàng)典型應(yīng)用。

  筆者相信,隨著物聯(lián)網(wǎng)數(shù)據(jù)的爆發(fā)增長,留給數(shù)據(jù)庫產(chǎn)業(yè)的想象空間依然十分巨大,一切都還值得期待。

  如果您已經(jīng)開始策劃2019年大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)安全事業(yè),請(qǐng)關(guān)注:

  2019年3月13-15日,第十一屆國際物聯(lián)網(wǎng)展——蘇州站;

  2019年7月30-8月1日,第十二屆國際物聯(lián)網(wǎng)展——深圳站。

人物訪談