chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

開源SPL的出現(xiàn),將使報(bào)表數(shù)據(jù)準(zhǔn)備的困難得到巨大的改觀

數(shù)據(jù)分析與開發(fā) ? 來(lái)源:數(shù)據(jù)分析與開發(fā) ? 作者:數(shù)據(jù)分析與開發(fā) ? 2022-06-16 11:03 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

現(xiàn)在應(yīng)用中的報(bào)表大都使用報(bào)表工具開發(fā),成熟的報(bào)表工具提供了豐富的顯示設(shè)置、圖表類型、導(dǎo)出打印等功能可以簡(jiǎn)化報(bào)表開發(fā),非常方便。但是,實(shí)際報(bào)表開發(fā)中還是經(jīng)常碰到一些非常棘手的深層次問(wèn)題,即使是已經(jīng)熟練使用報(bào)表工具的開發(fā)老手也會(huì)很撓頭。為什么有了報(bào)表工具還會(huì)出現(xiàn)這些問(wèn)題呢?報(bào)表開發(fā),看起來(lái)就是將數(shù)據(jù)按照指定格式的表格或圖形呈現(xiàn)出來(lái),這也是報(bào)表工具一直很擅長(zhǎng)的環(huán)節(jié)。但是,原始數(shù)據(jù)經(jīng)常并不適合直接呈現(xiàn),需要先做一些復(fù)雜的處理,這就是數(shù)據(jù)準(zhǔn)備環(huán)節(jié)。從報(bào)表工具的眼光上看,數(shù)據(jù)準(zhǔn)備屬于報(bào)表之外的事情,可以堂而皇之地拒絕處理。但是,拒絕不等于不存在,這個(gè)工作總還要做。沒(méi)有好的工具,目前報(bào)表的數(shù)據(jù)準(zhǔn)備還處于比較原始的硬編碼階段,幾百上千行的 SQL、幾十上百 K 的存儲(chǔ)過(guò)程和大量的 JAVA 代碼充斥在報(bào)表之后。落后的工具必然導(dǎo)致低下的生產(chǎn)效率,會(huì)嚴(yán)重拖累整個(gè)報(bào)表開發(fā)的進(jìn)程,也就出現(xiàn)了前述的“撓頭”現(xiàn)象。再由于大多數(shù)報(bào)表工具的不重視,這個(gè)問(wèn)題遲遲還沒(méi)有被解決的跡象。報(bào)表數(shù)據(jù)準(zhǔn)備之于報(bào)表有如樹根之于大樹,如果根本得不到解決,在枝葉上花多少精力都是白費(fèi)。開源 SPL 的出現(xiàn),將使報(bào)表數(shù)據(jù)準(zhǔn)備的困難得到巨大的改觀。SPL(Structured Process Language)是專業(yè)的開源結(jié)構(gòu)化數(shù)據(jù)計(jì)算引擎,提供了豐富的計(jì)算類庫(kù),支持過(guò)程計(jì)算,擅長(zhǎng)完成各類復(fù)雜計(jì)算。同時(shí)開放計(jì)算體系支持多數(shù)據(jù)源混合計(jì)算,支持熱切換,提供標(biāo)準(zhǔn) JDBC 接口可與報(bào)表工具無(wú)縫集成。

降低報(bào)表的開發(fā)工作量

報(bào)表開發(fā)主要分兩個(gè)階段:第一階段是為報(bào)表準(zhǔn)備數(shù)據(jù),也就是把原始數(shù)據(jù)通過(guò) SQL/ 存儲(chǔ)過(guò)程 /Java 加工成報(bào)表可用的數(shù)據(jù)集;第二階段是使用已準(zhǔn)備的數(shù)據(jù)編寫表達(dá)式進(jìn)行報(bào)表呈現(xiàn)。數(shù)據(jù)呈現(xiàn)使用報(bào)表工具可以簡(jiǎn)單地完成,尤其近些年前端可視化技術(shù)的進(jìn)步,越來(lái)越多報(bào)表都以圖形的方式呈現(xiàn),這更降低了報(bào)表呈現(xiàn)階段的難度。然而,數(shù)據(jù)準(zhǔn)備并沒(méi)有工具化。粗略統(tǒng)計(jì),在報(bào)表工具支持下,數(shù)據(jù)呈現(xiàn)在當(dāng)前報(bào)表開發(fā)的工作量占比能降到 20%,剩下80% 都是數(shù)據(jù)準(zhǔn)備,甚至更高。這時(shí)候,如果要優(yōu)化報(bào)表開發(fā)、提升報(bào)表開發(fā)效率也要從報(bào)表數(shù)據(jù)準(zhǔn)備方面入手。當(dāng)前數(shù)據(jù)準(zhǔn)備的主要方式是 SQL(包括存儲(chǔ)過(guò)程)和 Java。后者要比前者麻煩得多,主要是因?yàn)?Java 缺少結(jié)構(gòu)化計(jì)算類庫(kù),并非專門的集合計(jì)算語(yǔ)言。但 SQL 缺乏分步機(jī)制實(shí)現(xiàn)復(fù)雜計(jì)算時(shí)也非常繁瑣,加上只能基于數(shù)據(jù)庫(kù),當(dāng)碰到其他類型的數(shù)據(jù)源時(shí)就只能依靠 Java 了。另外,目前的一些前后端分離、微服務(wù)架構(gòu)要求只能在應(yīng)用端用 Java 硬編碼。這些因素都增加了報(bào)表數(shù)據(jù)準(zhǔn)備的工作量,導(dǎo)致報(bào)表開發(fā)效率不高。使用開源 SPL 可以輔助 / 替代原有的報(bào)表數(shù)據(jù)準(zhǔn)備方式,借助 SPL 簡(jiǎn)潔的語(yǔ)法和豐富的類庫(kù)可以快速完成報(bào)表數(shù)據(jù)準(zhǔn)備任務(wù),從而減少報(bào)表開發(fā)的工作量。豐富的計(jì)算類庫(kù):55117732-ed00-11ec-ba43-dac502259ad0.png與 SQL 不同,SPL 提倡分步計(jì)算,算法可以按照自然思維一步步實(shí)現(xiàn),這樣就可以避免編寫過(guò)于復(fù)雜的 SQL(復(fù)雜 SQL 不僅難寫,維護(hù)也不方便)。552ad844-ed00-11ec-ba43-dac502259ad0.png這里拿 SPL 和 SQL 做個(gè)對(duì)比(Java 計(jì)算要復(fù)雜得多,不太具備可比性)。查詢目標(biāo):根據(jù)股票記錄表查詢股價(jià)連續(xù)上漲超過(guò) 5 天的股票及上漲天數(shù)(股價(jià)相等記為上漲)SQL 實(shí)現(xiàn)要嵌套 3 層子查詢才能完成:
select code,max(risenum)-1 maxRiseDays from (  select code,count(1) risenum from  (    select code,changeSign,sum(changeSign) over(partition by code order by ddate) unRiseDays from    (        select               code,              ddate,              case when price>=lag(price) over(partition by code order by ddate)              then 0 else 1 end changeSign        from stock_record     )  )  group by code,unRiseDays)group by codehavingmax(risenum)>5

而同樣的計(jì)算用 SPL 則要簡(jiǎn)單很多:

A
1 =connect@l("orcl").query@x("select * from stock_record order by ddate")
2 =A1.group(code)
3 =A2.new(code,~.group@i(price 計(jì)算每只股票的連續(xù)上漲天數(shù)
4 =A3.select(maxrisedays>=5) 選出符合條件的記錄

SPL 還提供了簡(jiǎn)潔易用的開發(fā)環(huán)境,單步執(zhí)行、設(shè)置斷點(diǎn),所見即所得的結(jié)果預(yù)覽窗口…

5545d1da-ed00-11ec-ba43-dac502259ad0.png每步計(jì)算的結(jié)果都可以實(shí)時(shí)查看,相比 SQL 和存儲(chǔ)過(guò)程不好調(diào)試要方便高效得多。SPL 可以與報(bào)表工具集成嵌入使用,SPL 提供了標(biāo)準(zhǔn) JDBC 接口供報(bào)表工具調(diào)用,這樣就可以無(wú)縫取代原來(lái)實(shí)現(xiàn)報(bào)表數(shù)據(jù)準(zhǔn)備的硬編碼方式,甚至可以與原有方式共存。

改善存儲(chǔ)過(guò)程和 JAVA 做數(shù)據(jù)準(zhǔn)備的缺點(diǎn)

在報(bào)表開發(fā)中為了應(yīng)對(duì)復(fù)雜的數(shù)據(jù)準(zhǔn)備邏輯而使用存儲(chǔ)過(guò)程和 Java 處理數(shù)據(jù)的情況并不少見,在獲得非常有限的開發(fā)便利時(shí),卻帶來(lái)了巨大的麻煩。存儲(chǔ)過(guò)程編輯調(diào)試?yán)щy,沒(méi)有移植性更難以擴(kuò)展,會(huì)造成報(bào)表與數(shù)據(jù)庫(kù)的高度耦合,創(chuàng)建修改存儲(chǔ)過(guò)程需要較高的數(shù)據(jù)庫(kù)權(quán)限會(huì)帶來(lái)安全隱患,存儲(chǔ)過(guò)程往往需要專門的 DBA 維持,也推高了報(bào)表開發(fā)成本。不僅如此,同一個(gè)存儲(chǔ)過(guò)程還可能被不同模塊甚至不同應(yīng)用共用,這就造成了應(yīng)用間的緊耦合,牽存儲(chǔ)過(guò)程一發(fā)而動(dòng)應(yīng)用全身。SPL 提供了不依賴數(shù)據(jù)庫(kù)的計(jì)算能力,從存儲(chǔ)過(guò)程的角度看 SPL 類似一種“庫(kù)外存儲(chǔ)過(guò)程”。這樣可以充分解耦報(bào)表和數(shù)據(jù)庫(kù)、應(yīng)用與應(yīng)用,不再存在安全問(wèn)題,移植性也大大增強(qiáng),再借助 SPL 開放的多樣數(shù)據(jù)源支持,數(shù)據(jù)庫(kù)擴(kuò)展或更改時(shí)只需要修改數(shù)據(jù)源連接,無(wú)需更改計(jì)算邏輯,可以很好實(shí)現(xiàn)平滑移植。Java 由于缺少結(jié)構(gòu)化計(jì)算類庫(kù),實(shí)現(xiàn)報(bào)表數(shù)據(jù)準(zhǔn)備代碼編寫難度大,同樣存在依賴專業(yè)程序員推高報(bào)表開發(fā)成本的問(wèn)題。Java 實(shí)現(xiàn)數(shù)據(jù)準(zhǔn)備還會(huì)造成報(bào)表模塊和應(yīng)用其他模塊的緊耦合,不利于將查詢壓力大的報(bào)表模塊單獨(dú)維護(hù)。作為編譯型語(yǔ)言,Java 缺乏有效的熱切換機(jī)制,對(duì)頻繁多變的報(bào)表業(yè)務(wù)十分不利。SPL 的語(yǔ)法更為簡(jiǎn)潔,實(shí)現(xiàn)同樣的計(jì)算代碼更短,報(bào)表開發(fā)人員就可以學(xué)習(xí)使用,人力成本更低。SPL 可以與報(bào)表模塊集成,獨(dú)立于應(yīng)用其他模塊,單獨(dú)運(yùn)行維護(hù),降低應(yīng)用間的耦合性。同時(shí),SPL 解釋執(zhí)行支持熱切換,可以更好適應(yīng)多變的報(bào)表業(yè)務(wù)。

減少數(shù)據(jù)庫(kù)中的中間表

為了簡(jiǎn)化 SQL 運(yùn)算難度或提高查詢性能,或應(yīng)對(duì)多源情況,經(jīng)常會(huì)進(jìn)行數(shù)據(jù)預(yù)處理,事先加工出一部分中間結(jié)果存在數(shù)據(jù)庫(kù)中形成數(shù)據(jù)庫(kù)中間表。報(bào)表開發(fā)時(shí)數(shù)據(jù)準(zhǔn)備基于這些中間表完成,通常可以一定程度簡(jiǎn)化開發(fā)難度并獲得較高的查詢性能。但中間表是一把雙刃劍,提供便利的同時(shí)缺點(diǎn)也很多。大多數(shù)情況下的中間表一旦建立幾乎就無(wú)法刪除(因?yàn)閿?shù)據(jù)庫(kù)表的管理機(jī)制是線性的,很難分類以確定中間表的歸屬,不敢輕易刪除),這就會(huì)導(dǎo)致中間表越來(lái)越多,有時(shí)竟然高達(dá)數(shù)萬(wàn)。中間表要占用數(shù)據(jù)庫(kù)空間,導(dǎo)致數(shù)據(jù)庫(kù)容量不夠;而加工中間表則需要數(shù)據(jù)庫(kù)計(jì)算資源,導(dǎo)致數(shù)據(jù)庫(kù)性能下降,中間表過(guò)多會(huì)導(dǎo)致數(shù)據(jù)庫(kù)面臨擴(kuò)容壓力。SPL 提供了不依賴數(shù)據(jù)庫(kù)的計(jì)算能力,可以將中間表存儲(chǔ)到庫(kù)外文件中(開放數(shù)據(jù)文件格式或 SPL 存儲(chǔ)格式),SPL 基于文件進(jìn)行數(shù)據(jù)處理為報(bào)表輸出計(jì)算結(jié)果,完成數(shù)據(jù)準(zhǔn)備。將大量中間表外置到文件系統(tǒng)可以大幅減輕數(shù)據(jù)庫(kù)的壓力,既不用占用數(shù)據(jù)庫(kù)的寶貴空間,更不需要犧牲數(shù)據(jù)庫(kù)計(jì)算資源來(lái)加工中間表可謂一舉兩得。不僅如此,“庫(kù)外中間表”可以使用文件系統(tǒng)的樹狀結(jié)構(gòu)進(jìn)行管理,不同目錄的中間數(shù)據(jù)對(duì)應(yīng)不同業(yè)務(wù)的報(bào)表,不僅方便管理,還能進(jìn)一步降低報(bào)表模塊間的耦合性。

實(shí)現(xiàn)報(bào)表的熱切換

熱切換(Hot Swap)是指在系統(tǒng)不停機(jī)的情況下更換系統(tǒng)部件,在報(bào)表業(yè)務(wù)中則是指在不重啟報(bào)表及相關(guān)應(yīng)用的情況下完成對(duì)報(bào)表的維護(hù)(新增、修改、刪除),實(shí)時(shí)修改,實(shí)時(shí)生效。目前大部分報(bào)表工具開發(fā)的呈現(xiàn)模板都能熱切換,不過(guò)作為報(bào)表一部分的數(shù)據(jù)準(zhǔn)備情況卻有所不同。使用數(shù)據(jù)庫(kù) SQL 完成數(shù)據(jù)準(zhǔn)備可以直接做到熱切換,但編譯型的 Java 不行。而現(xiàn)在隨著更先進(jìn)架構(gòu)(如微服務(wù))的應(yīng)用,使用 Java 完成報(bào)表數(shù)據(jù)準(zhǔn)備的情況非常常見。為了解決報(bào)表熱切換的問(wèn)題,可以使用 SPL 替代 Java 完成諸如微服務(wù)架構(gòu)中的報(bào)表數(shù)據(jù)準(zhǔn)備工作。SPL 解釋執(zhí)行,天然支持熱切換,同時(shí)具備完善的計(jì)算體系以及敏捷語(yǔ)法可以很方便地實(shí)現(xiàn)數(shù)據(jù)處理任務(wù)。

解決多樣性數(shù)據(jù)源

當(dāng)前報(bào)表的數(shù)據(jù)來(lái)源十分豐富,RDB、NoSQL、CSV、Excel、HDFS、Restful/Webservice、Kafka…都可以成為報(bào)表數(shù)據(jù)源,多樣性數(shù)據(jù)源會(huì)帶來(lái)兩個(gè)問(wèn)題,如何連接這些數(shù)據(jù)源?連接后如何關(guān)聯(lián)計(jì)算?而在前后端分離、微服務(wù)等架構(gòu)下,幾乎所有報(bào)表都不會(huì)直接基于數(shù)據(jù)庫(kù)開發(fā),多樣數(shù)據(jù)源問(wèn)題就更加嚴(yán)重。以往解決報(bào)表多樣源問(wèn)題的方式有三種:一是借助報(bào)表工具的能力。有些報(bào)表工具提供了多種數(shù)據(jù)源連接支持,分別取數(shù)后在報(bào)表呈現(xiàn)模板中完成關(guān)聯(lián)等計(jì)算。不過(guò),報(bào)表工具的計(jì)算能力很弱,只能實(shí)現(xiàn)很有限的多源混合計(jì)算。二是將多源數(shù)據(jù) ETL 到一個(gè) RDB 中,將多源轉(zhuǎn)化成單源再借助 SQL 能力完成計(jì)算。這種方式不僅很繁瑣,數(shù)據(jù)也不實(shí)時(shí),數(shù)據(jù)量大或計(jì)算復(fù)雜時(shí)還會(huì)引發(fā)數(shù)據(jù)庫(kù)性能問(wèn)題。而且這也嚴(yán)重有悖于微服務(wù)架構(gòu)的原則。三是使用 Java 硬編碼。Java 的問(wèn)題我們已經(jīng)說(shuō)過(guò)多次,不僅編碼難度高,而且也不支持熱切換。開源 SPL 目前提供了幾十種數(shù)據(jù)源支持,可以快速連接這些數(shù)據(jù)源完成取數(shù)計(jì)算。不僅是連接取數(shù),SPL 提供豐富的計(jì)算類庫(kù)可以很方便進(jìn)行異構(gòu)源混合計(jì)算,實(shí)現(xiàn)多源關(guān)聯(lián)等復(fù)雜計(jì)算。 SPL 實(shí)時(shí)基于多源完成計(jì)算,將計(jì)算后結(jié)果直接輸出報(bào)表進(jìn)行呈現(xiàn),不僅解決了數(shù)據(jù)實(shí)時(shí)性問(wèn)題,也改善了報(bào)表工具計(jì)算能力不足、Java 編碼難熱切換難的困境,是報(bào)表多樣源問(wèn)題的有效解決方式。

提升報(bào)表性能

報(bào)表性能是總也避不開的話題,報(bào)表作為 OLAP 中的最主要應(yīng)用場(chǎng)景,涉及的數(shù)據(jù)可能很多,大數(shù)據(jù)量、計(jì)算邏輯復(fù)雜經(jīng)常會(huì)引發(fā)報(bào)表性能問(wèn)題。而報(bào)表是面向業(yè)務(wù)用戶呈現(xiàn)的,性能差就會(huì)帶來(lái)很惡劣的用戶體驗(yàn)。報(bào)表性能問(wèn)題表象上是報(bào)表查詢慢,但其實(shí)絕大多數(shù)都是數(shù)據(jù)準(zhǔn)備引起的,一旦數(shù)據(jù)準(zhǔn)備好,呈現(xiàn)效率往往很高。報(bào)表數(shù)據(jù)準(zhǔn)備是將原始數(shù)據(jù)加工成報(bào)表需要的數(shù)據(jù)集,報(bào)表要呈現(xiàn)的通常是聚合后的匯總結(jié)果數(shù)據(jù)量并不大,但原始數(shù)據(jù)卻可能非常大,不僅數(shù)據(jù)量大,數(shù)據(jù)處理邏輯也可能很復(fù)雜,這些都會(huì)造成低性能。解決辦法除了常見的優(yōu)化 SQL 以外,還可以使用 SPL 提速。SQL 執(zhí)行效率依賴數(shù)據(jù)庫(kù)的優(yōu)化能力,而對(duì)復(fù)雜 SQL 數(shù)據(jù)庫(kù)優(yōu)化引擎經(jīng)常失效,導(dǎo)致執(zhí)行效率不高。這時(shí)可以將計(jì)算邏輯使用 SPL 實(shí)現(xiàn),借助 SPL 的高性能算法達(dá)到提速的目的。如果因?yàn)閿?shù)據(jù)庫(kù)過(guò)于繁忙(壓力過(guò)大)導(dǎo)致查詢慢,優(yōu)化 SQL 也無(wú)能為力;甚至根本無(wú) SQL 可用(非 RDB 源)時(shí),使用不依賴數(shù)據(jù)庫(kù)能力的 SPL 就比較有效了。特別說(shuō)明的是,對(duì)于計(jì)算密集型任務(wù),使用 SPL 優(yōu)化時(shí)經(jīng)常需要將數(shù)據(jù)事先外置到文件系統(tǒng)再進(jìn)行,目的是減少 RDB 到 SPL 的 IO 時(shí)間,如果從數(shù)據(jù)庫(kù)實(shí)時(shí)取數(shù)計(jì)算,IO 時(shí)間可能比計(jì)算時(shí)間還要長(zhǎng)。另外,SPL 存儲(chǔ)在數(shù)據(jù)組織方式上有很大優(yōu)勢(shì),基于 SPL 存儲(chǔ)計(jì)算可以獲得更高性能。除了數(shù)據(jù)準(zhǔn)備外,數(shù)據(jù)傳輸也是另一個(gè)瓶頸。報(bào)表通過(guò) JDBC 接口訪問(wèn)數(shù)據(jù)庫(kù)讀取所需數(shù)據(jù)時(shí),如果數(shù)據(jù)量比較大或者數(shù)據(jù)庫(kù) JDBC 性能較差(各種數(shù)據(jù)庫(kù)的 JDBC 效率是不同的)會(huì)導(dǎo)致數(shù)據(jù)傳輸時(shí)間過(guò)長(zhǎng),導(dǎo)致報(bào)表變慢。對(duì)于數(shù)據(jù)密集型的報(bào)表,可以通過(guò) SPL并行取數(shù)來(lái)提速。在 SPL 中建立多個(gè)數(shù)據(jù)庫(kù)連接(這時(shí)要求數(shù)據(jù)庫(kù)相對(duì)空閑),采用多線程的方式同時(shí)讀取報(bào)表所需數(shù)據(jù),可以是同一個(gè)表,也可以是多個(gè)表關(guān)聯(lián)計(jì)算后的結(jié)果,這樣數(shù)據(jù)傳輸?shù)臅r(shí)間理論上就會(huì)縮短到原來(lái)的 1/n(n 是線程數(shù)),從而提升報(bào)表性能。此外,報(bào)表本身也可能發(fā)生計(jì)算較慢的問(wèn)題。比如報(bào)表工具完成多數(shù)據(jù)集的關(guān)聯(lián)是在報(bào)表單元格的表達(dá)式中完成的,類似這樣 ds2.select(ID==ds1.ID),報(bào)表引擎在解析這個(gè)表達(dá)式時(shí)會(huì)按照順序遍歷的方式完成關(guān)聯(lián),即從 ds2(數(shù)據(jù)集 2) 中拿出一條記錄,到 ds1 (數(shù)據(jù)集 1)中遍歷,查找 ID 相同的記錄;然后再拿第二條再去遍歷查找;…
這個(gè)運(yùn)算復(fù)雜度是平方級(jí)的,數(shù)據(jù)量小的時(shí)候沒(méi)什么影響,數(shù)據(jù)量稍大時(shí)性能就會(huì)急劇下降。
解決辦法是將在報(bào)表端實(shí)現(xiàn)的多數(shù)據(jù)集關(guān)聯(lián)運(yùn)算轉(zhuǎn)移到數(shù)據(jù)準(zhǔn)備階段完成。如果是同一個(gè)數(shù)據(jù)庫(kù)可以使用 SQL,但如果 SQL 運(yùn)行效率不高,或者數(shù)據(jù)來(lái)自多源時(shí),可以使用 SPL 完成關(guān)聯(lián)計(jì)算。仍然是借助 SPL 的多源能力、高性能算法以及高性能存儲(chǔ)來(lái)達(dá)到提速的目的。

低成本應(yīng)對(duì)沒(méi)完沒(méi)了

報(bào)表不同于企業(yè)信息系統(tǒng)的其他部分,會(huì)伴隨系統(tǒng)生命周期一直不斷新增、修改。這是由于企業(yè)在生產(chǎn)經(jīng)營(yíng)過(guò)程中會(huì)不斷催生出新的報(bào)表需求,這就造成了沒(méi)完沒(méi)了的報(bào)表。沒(méi)完沒(méi)了的報(bào)表無(wú)法消除,只能適應(yīng),這就需要低成本的適應(yīng)方案。總體來(lái)講,想要高效率、低成本地應(yīng)對(duì)報(bào)表沒(méi)完沒(méi)了可以按照這樣幾步來(lái)走:第一步,引入報(bào)表工具解決報(bào)表呈現(xiàn)階段的人力。先把最容易解決的問(wèn)題解決掉,通過(guò)引入專業(yè)的報(bào)表工具解放報(bào)表數(shù)據(jù)呈現(xiàn)階段的人力,完成各類圖表呈現(xiàn)。目前大部分用戶都會(huì)使用報(bào)表工具開發(fā)報(bào)表,因此這一步已基本實(shí)現(xiàn)。第二步,引入計(jì)算工具解決報(bào)表數(shù)據(jù)準(zhǔn)備階段的人力。跟第一步類似,要將報(bào)表數(shù)據(jù)準(zhǔn)備也工具化才能徹底解決以往報(bào)表數(shù)據(jù)準(zhǔn)備效率低下的問(wèn)題。前文我們討論的都是這個(gè)階段的問(wèn)題,利用開源 SPL 編碼簡(jiǎn)潔、多源支持、熱切換等特性可以很好實(shí)現(xiàn)數(shù)據(jù)準(zhǔn)備工具化。配合第一步,可以讓整個(gè)報(bào)表開發(fā)工作全面工具化,從而獲得更高的開發(fā)效率。第三步,獨(dú)立報(bào)表模塊優(yōu)化應(yīng)用結(jié)構(gòu)。報(bào)表開發(fā)全面工具化后,就可以調(diào)整應(yīng)用結(jié)構(gòu),把報(bào)表模塊從業(yè)務(wù)系統(tǒng)中解耦出來(lái)。報(bào)表模塊僅僅共享業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源(數(shù)據(jù)庫(kù)或別的數(shù)據(jù)存儲(chǔ)介質(zhì)),而不再和業(yè)務(wù)系統(tǒng)緊密耦合。報(bào)表呈現(xiàn)和數(shù)據(jù)準(zhǔn)備都工具化之后,報(bào)表運(yùn)算可以被中間件解釋執(zhí)行,這樣,報(bào)表的頻繁修改增加也不需要讓業(yè)務(wù)系統(tǒng)都重新啟動(dòng),大幅降低運(yùn)維的復(fù)雜度。這個(gè)過(guò)程特別重要的是梳理數(shù)據(jù)源,把報(bào)表模塊需要的數(shù)據(jù)源單獨(dú)整理出來(lái),以后開發(fā)報(bào)表只需要和這些數(shù)據(jù)源打交道。通過(guò)這樣三步將報(bào)表開發(fā)全面工具化,提升了報(bào)表開發(fā)效率,同時(shí)還優(yōu)化了應(yīng)用結(jié)構(gòu),獨(dú)立后的報(bào)表模塊單獨(dú)運(yùn)維,無(wú)論從技術(shù)架構(gòu)上還是人員架構(gòu)上都更為合理,有效應(yīng)對(duì)沒(méi)完沒(méi)了的報(bào)表。

審核編輯 :李倩


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 數(shù)據(jù)
    +關(guān)注

    關(guān)注

    8

    文章

    7335

    瀏覽量

    94776
  • spl
    spl
    +關(guān)注

    關(guān)注

    0

    文章

    22

    瀏覽量

    16756
  • 開源工具
    +關(guān)注

    關(guān)注

    0

    文章

    27

    瀏覽量

    4775

原文標(biāo)題:有了這個(gè)開源工具,數(shù)據(jù)準(zhǔn)備太方便了!

文章出處:【微信號(hào):DBDevs,微信公眾號(hào):數(shù)據(jù)分析與開發(fā)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    U-Boot SPL核心文件spl.c深度解析:從啟動(dòng)流程到調(diào)試優(yōu)化

    在嵌入式系統(tǒng)開發(fā)中,U-Boot 的 SPL(Secondary Program Loader)扮演著至關(guān)重要的角色,它是系統(tǒng)上電后執(zhí)行的第一個(gè)軟件組件之一,負(fù)責(zé)為后續(xù)啟動(dòng)過(guò)程鋪平道路。本文將深入
    的頭像 發(fā)表于 02-05 14:08 ?144次閱讀
    U-Boot <b class='flag-5'>SPL</b>核心文件<b class='flag-5'>spl</b>.c深度解析:從啟動(dòng)流程到調(diào)試優(yōu)化

    深度解析SPL階段A/B分區(qū)啟動(dòng):spl_ab.c代碼全拆解

    在嵌入式系統(tǒng)(尤其是 Rockchip 平臺(tái) Android 設(shè)備)中, A/B ( Seamless Update )無(wú)縫更新是保障系統(tǒng)更新不丟數(shù)據(jù)、更新失敗可回滾的核心機(jī)制。而 SPL
    的頭像 發(fā)表于 01-20 07:07 ?9603次閱讀
    深度解析<b class='flag-5'>SPL</b>階段A/B分區(qū)啟動(dòng):<b class='flag-5'>spl</b>_ab.c代碼全拆解

    C-小智開源版,可二次開發(fā)(WIN32)#小智AI #開源 #二次開發(fā)

    開源
    不太正經(jīng)的攻城獅
    發(fā)布于 :2026年01月04日 19:31:14

    電能質(zhì)量在線監(jiān)測(cè)裝置的多維度統(tǒng)計(jì)報(bào)表支持遠(yuǎn)程訪問(wèn)導(dǎo)出嗎?

    是的,現(xiàn)代電能質(zhì)量在線監(jiān)測(cè)裝置的多維度統(tǒng)計(jì)報(bào)表全面支持遠(yuǎn)程訪問(wèn)導(dǎo)出功能 ,已成為主流產(chǎn)品標(biāo)配,可通過(guò)多種方式隨時(shí)隨地獲取分析數(shù)據(jù)。 一、遠(yuǎn)程訪問(wèn)導(dǎo)出方式全景 1. Web 瀏覽器直連(最通用) 輸入
    的頭像 發(fā)表于 12-17 15:39 ?341次閱讀
    電能質(zhì)量在線監(jiān)測(cè)裝置的多維度統(tǒng)計(jì)<b class='flag-5'>報(bào)表</b>支持遠(yuǎn)程訪問(wèn)導(dǎo)出嗎?

    電能質(zhì)量在線監(jiān)測(cè)裝置支持多維度統(tǒng)計(jì)報(bào)表嗎?

    ? 是的,主流電能質(zhì)量在線監(jiān)測(cè)裝置普遍支持多維度統(tǒng)計(jì)報(bào)表功能 ,這是其數(shù)據(jù)分析能力的核心組成部分,能幫助用戶全面評(píng)估電網(wǎng)電能質(zhì)量狀況,滿足合規(guī)性要求和運(yùn)維決策需求。 一、多維度統(tǒng)計(jì)的核心維度類型
    的頭像 發(fā)表于 12-11 16:51 ?589次閱讀

    從“報(bào)表堆砌”到“問(wèn)題洞察”:構(gòu)建數(shù)據(jù)驅(qū)動(dòng)的巡店管理新思路

    在連鎖經(jīng)營(yíng)領(lǐng)域,數(shù)據(jù)的重要性已不言而喻。然而,對(duì)于許多總部管理者而言,一個(gè)普遍的困境是:我們并不缺少數(shù)據(jù),而是缺少對(duì)數(shù)據(jù)的洞察。每日面對(duì)海量的巡店報(bào)表,三個(gè)核心的管理盲區(qū)始終難以突破:
    的頭像 發(fā)表于 11-28 17:33 ?1238次閱讀
    從“<b class='flag-5'>報(bào)表</b>堆砌”到“問(wèn)題洞察”:構(gòu)建<b class='flag-5'>數(shù)據(jù)</b>驅(qū)動(dòng)的巡店管理新思路

    開源FPGA硬件】硬件黑客集結(jié):開源FPGA開發(fā)板測(cè)評(píng)活動(dòng)全網(wǎng)火熱招募中......

    開源活動(dòng)簡(jiǎn)介 近期,小眼睛科技聯(lián)合紫光同創(chuàng)及電子發(fā)燒友發(fā)起了 # 擁抱開源!一起來(lái)做FPGA開發(fā)板活動(dòng) ,活動(dòng)一經(jīng)發(fā)布,得到了很多開源愛(ài)好者的熱烈響應(yīng),再次感謝大家的支持!
    發(fā)表于 10-29 11:37

    人工抄數(shù)據(jù)累到懵?設(shè)備系統(tǒng)自動(dòng)出報(bào)表

    當(dāng)設(shè)備數(shù)據(jù)不再需要人工抄寫,當(dāng)報(bào)表能提前預(yù)警故障,設(shè)備管理才算真正告別 “盲人摸象”。就像老周說(shuō)的:“以前追著數(shù)據(jù)跑,現(xiàn)在數(shù)據(jù)幫我管設(shè)備,這才是真的省心?!?/div>
    的頭像 發(fā)表于 10-27 10:33 ?266次閱讀
    人工抄<b class='flag-5'>數(shù)據(jù)</b>累到懵?設(shè)備系統(tǒng)自動(dòng)出<b class='flag-5'>報(bào)表</b>

    EM儲(chǔ)能網(wǎng)關(guān) ZWS智慧儲(chǔ)能云應(yīng)用(21) — 自定義報(bào)表

    在儲(chǔ)能運(yùn)營(yíng)中,精準(zhǔn)的電量數(shù)據(jù)統(tǒng)計(jì)對(duì)客戶收益與運(yùn)營(yíng)策略意義重大??蛻綦姳矸N類多樣,希望在儲(chǔ)能平臺(tái)查看數(shù)據(jù)。儲(chǔ)能云平臺(tái)的自定義報(bào)表功能可滿足多樣化需求,內(nèi)置統(tǒng)計(jì)方式,統(tǒng)一報(bào)表風(fēng)格。前言在儲(chǔ)
    的頭像 發(fā)表于 09-26 11:46 ?516次閱讀
    EM儲(chǔ)能網(wǎng)關(guān) ZWS智慧儲(chǔ)能云應(yīng)用(21) — 自定義<b class='flag-5'>報(bào)表</b>

    fn_u-boot-spl.bin和u-boot-spl.bin區(qū)別是什么?請(qǐng)問(wèn)如何從u-boot-spl.bin生成fn_u-boot-spl.bin?

    fn_u-boot-spl.bin = bootrom頭 + u-boot-spl.bin ;生成過(guò)程見后面代碼片段; bootrom頭(格式詳見) + u-boot-spl.bin(標(biāo)準(zhǔn)的一級(jí)
    發(fā)表于 07-11 07:58

    使用AD芯片對(duì)正弦波采樣,得到這樣的結(jié)果,可能是哪里出現(xiàn)問(wèn)題?

    使用AD芯片對(duì)正弦波采樣,得到這樣的結(jié)果,可能是哪里出現(xiàn)問(wèn)題?
    發(fā)表于 04-03 18:51

    使用Newlib時(shí)出現(xiàn)FreeRTOS硬故障怎么解決?

    (不精確的數(shù)據(jù)總線) 已附加項(xiàng)目 切換到 Redlib 工作正常,newlib 崩潰 如果我關(guān)閉空閑功能,似乎工作正常,盡管我沒(méi)有進(jìn)一步排除故障 我的目標(biāo)是讓 Segger RTT 在 CM4 內(nèi)核上運(yùn)行,事實(shí)證明這比預(yù)期的要困難得多。有沒(méi)有這方面的例子?
    發(fā)表于 04-02 07:08

    NVIDIA推出開源物理AI數(shù)據(jù)

    標(biāo)準(zhǔn)化合成數(shù)據(jù)的初始版本預(yù)計(jì)將成為世界上最大的此類數(shù)據(jù)集,目前已作為開源版本提供給機(jī)器人開發(fā)人員。
    的頭像 發(fā)表于 03-24 17:52 ?1036次閱讀

    i.mx8m如何在u-boot SPL階段啟用pwm?

    硬件:i.mx8m mini。 U-Boot 版本:2023.01 DFSG-2 我想讓 pwm 點(diǎn)亮我的 spl.c 中的 LED,這樣用戶在接通板子電源后就可以立即看到燈亮了。 我沒(méi)有找到將
    發(fā)表于 03-21 07:51