chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

企業(yè)如何實(shí)現(xiàn)對(duì)工業(yè)大數(shù)據(jù)的預(yù)處理?

格創(chuàng)東智 ? 2018-12-05 09:36 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

數(shù)據(jù)分析,包括大數(shù)據(jù)分析,在企業(yè)的業(yè)務(wù)中,特別是在傳統(tǒng)的商務(wù)行業(yè),已有多年的應(yīng)用實(shí)踐,在消費(fèi)者市場的營銷中已成了必不可缺的技術(shù)。隨著工業(yè)互聯(lián)網(wǎng)和智能制造的興起和發(fā)展,工業(yè)大數(shù)據(jù)技術(shù)也越來越受到各方關(guān)注。在“中國制造2025”的技術(shù)路線圖中,工業(yè)大數(shù)據(jù)是作為重要突破點(diǎn)來規(guī)劃的,而在未來的十年,以數(shù)據(jù)為核心構(gòu)建的智能化體系會(huì)成為支撐智能制造和工業(yè)互聯(lián)網(wǎng)的核心動(dòng)力。

對(duì)制造企業(yè)而言,不論是新實(shí)施的系統(tǒng)還是老舊系統(tǒng),要實(shí)施大數(shù)據(jù)分析平臺(tái),就需要先弄明白自己到底需要采集哪些數(shù)據(jù)。因?yàn)榭紤]到數(shù)據(jù)的采集難度和成本,大數(shù)據(jù)分析平臺(tái)并不是對(duì)企業(yè)所有的數(shù)據(jù)都進(jìn)行采集,而是相關(guān)的、有直接或者間接聯(lián)系的數(shù)據(jù),企業(yè)要知道哪些數(shù)據(jù)是對(duì)于戰(zhàn)略性的決策或者一些細(xì)節(jié)決策有幫助的,分析出來的數(shù)據(jù)結(jié)果是有價(jià)值的。

比如企業(yè)只是想了解產(chǎn)線設(shè)備的運(yùn)行狀態(tài),這時(shí)候就只需要對(duì)影響產(chǎn)線設(shè)備性能的關(guān)鍵參數(shù)進(jìn)行采集。

再比如,在產(chǎn)品售后服務(wù)環(huán)節(jié),企業(yè)需要了解產(chǎn)品使用狀態(tài)、購買群體等信息,這些數(shù)據(jù)對(duì)支撐新產(chǎn)品的研發(fā)和市場的預(yù)測(cè)都有著非常重要的價(jià)值。

因此,建議企業(yè)在進(jìn)行大數(shù)據(jù)分析規(guī)劃的時(shí)候針對(duì)一個(gè)項(xiàng)目的目標(biāo)進(jìn)行精確的分析,比較容易滿足業(yè)務(wù)的目標(biāo)。明確目標(biāo)以后,就要著手開始搜集數(shù)據(jù)并進(jìn)行預(yù)處理了。本期格物匯將跟大家介紹,企業(yè)如何實(shí)現(xiàn)對(duì)工業(yè)大數(shù)據(jù)的預(yù)處理。

數(shù)據(jù)采集

首先我們看看數(shù)據(jù)是如何獲取的,在現(xiàn)實(shí)生活中,我們所面對(duì)的問題,往往都是抽象復(fù)雜的。我們來看如下兩個(gè)例子:

如何提升產(chǎn)品的良率

可能這是制造業(yè)最為普遍的一個(gè)問題,如果我們要分析解決這個(gè)問題,常常就會(huì)問到:什么產(chǎn)品?有多少條產(chǎn)線在生成?經(jīng)過了哪些機(jī)臺(tái)?影響產(chǎn)品良率的因素有哪些?我們可能會(huì)提出很多很多這樣的問題,解決這些問題需要對(duì)相關(guān)業(yè)務(wù)知識(shí)非常了解,盡可能多的找出與問題有關(guān)的數(shù)據(jù)。

如何進(jìn)行人臉識(shí)別

這問題更加復(fù)雜一些,雖然我們每個(gè)人的大腦每天都在做人臉識(shí)別,但是大腦如何工作的卻異常難懂。我們可能需要做很多科研工作,去挖掘到底哪些數(shù)據(jù)會(huì)影響到人臉識(shí)別的正確率。如果這些數(shù)據(jù)本身沒有,很可能還需要進(jìn)行測(cè)量采集,比如兩眼之間的距離,嘴的寬度和長度等等。當(dāng)然,我們還會(huì)評(píng)估采集的成本,并對(duì)這些數(shù)據(jù)有效性進(jìn)行評(píng)估,驗(yàn)證我們的成本是否值得去花費(fèi)精力測(cè)量。

數(shù)據(jù)預(yù)處理簡介

數(shù)據(jù)采集以后,數(shù)據(jù)往往存放在數(shù)據(jù)庫或文件系統(tǒng)中,我們需要把他們導(dǎo)入到算法模型中進(jìn)行訓(xùn)練,得到我們想要的模型。但是我們的數(shù)據(jù)往往雜亂無章,總的來說,數(shù)據(jù)一般存在如下幾類問題:


數(shù)據(jù)類型多種多樣

我們的數(shù)據(jù)中常常出現(xiàn)字符型,時(shí)間型,數(shù)字型等多種數(shù)據(jù)類型。其中:字符型是無法代入模型計(jì)算的,所以我們根據(jù)需要,可以對(duì)字符型數(shù)據(jù)進(jìn)行編碼轉(zhuǎn)換。常用的編碼方法有:

數(shù)字編碼:對(duì)于有大小比較的字符型數(shù)據(jù),可以直接轉(zhuǎn)換成數(shù)字編碼。比如:

Onehot編碼:對(duì)于沒有大小比較的字符型數(shù)據(jù),可以使用Onehot獨(dú)熱編碼。比如:

時(shí)間類型往往是一類特殊的數(shù)據(jù),把時(shí)間簡單看成一個(gè)實(shí)數(shù)的話,往往不符合邏輯。對(duì)于帶時(shí)間的數(shù)據(jù),我們通常使用時(shí)間序列的分析方法進(jìn)行分析。有時(shí)候我們更加關(guān)注的是兩列時(shí)間的差值,這時(shí)我們可以構(gòu)建時(shí)間差值列作為新的變量加入模型之中。

數(shù)字型往往是導(dǎo)入模型進(jìn)行訓(xùn)練的主要部分,數(shù)字型又可以細(xì)分為離散型和連續(xù)型,因?yàn)殡x散與連續(xù)的數(shù)據(jù)分布顯著不同,我們可以對(duì)其進(jìn)行分開處理。數(shù)字型之間各個(gè)列常存在量綱差異,有的數(shù)據(jù)可能很大,有的數(shù)據(jù)可能很小,我們需要去除數(shù)據(jù)量綱,防止模型對(duì)數(shù)據(jù)較大的列進(jìn)行偏倚(數(shù)據(jù)值較大時(shí)通常方差也較大)。常用的數(shù)據(jù)去量綱的方法有最大最小值歸一化法,均值標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化法等等。


數(shù)據(jù)格式不對(duì)

我們期望數(shù)據(jù)格式是表結(jié)構(gòu),矩陣格式,或者是張量格式。然而我們拿到的數(shù)據(jù)往往不是格式化的數(shù)據(jù),比如機(jī)臺(tái)的日志數(shù)據(jù),圖像數(shù)據(jù),音頻視頻數(shù)據(jù)。我們需要對(duì)上述數(shù)據(jù)轉(zhuǎn)換,把數(shù)據(jù)格式轉(zhuǎn)換成我們想要的格式。

數(shù)據(jù)中存在異常

數(shù)據(jù)中還會(huì)出現(xiàn)缺失值,異常值等異常,這些情況也會(huì)強(qiáng)烈影響到模型的訓(xùn)練,我們需要對(duì)空值進(jìn)行補(bǔ)值。如何補(bǔ)值需要我們對(duì)數(shù)據(jù)非常了解,才能推斷出該用什么值來補(bǔ)值,才不會(huì)改變?cè)械臄?shù)據(jù)分布。一般的補(bǔ)值方法有:0值補(bǔ)值,均值補(bǔ)值,中位數(shù)補(bǔ)值,按上一個(gè)數(shù)補(bǔ)值,移動(dòng)平均補(bǔ)值,線性插值,相關(guān)列補(bǔ)值法等等,對(duì)于缺失值比例較大的列,可以采取直接刪除的方法。異常值則需要?jiǎng)?chuàng)建規(guī)則,對(duì)異常值進(jìn)行識(shí)別,再用正常的值進(jìn)行替換,故異常值也有類似于缺失值的替換方法。

本文作者:格創(chuàng)東智OT團(tuán)隊(duì)

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    工業(yè)數(shù)據(jù)云平臺(tái)有哪些好用的?

    )。 華為云:華為云工業(yè)互聯(lián)平臺(tái)專注于工業(yè)數(shù)字化轉(zhuǎn)型,提供工業(yè)物聯(lián)網(wǎng)、邊緣計(jì)算和工業(yè)大數(shù)據(jù)分析等服務(wù)。其應(yīng)用場景廣泛,涵蓋制造業(yè)、能源、交通等領(lǐng)域。華為云憑借強(qiáng)大的生態(tài)系統(tǒng)和持續(xù)的技術(shù)
    的頭像 發(fā)表于 10-20 17:25 ?320次閱讀
    <b class='flag-5'>工業(yè)</b><b class='flag-5'>數(shù)據(jù)</b>云平臺(tái)有哪些好用的?

    御控工業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)解決方案:排水設(shè)備遠(yuǎn)程監(jiān)控與大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)

    御控工業(yè)物聯(lián)網(wǎng)推出排水設(shè)備遠(yuǎn)程監(jiān)控與大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng),通過物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算等技術(shù)構(gòu)建“感知-傳輸-分析-決策”閉環(huán)管理體系,助力排水行業(yè)數(shù)字化轉(zhuǎn)型。
    的頭像 發(fā)表于 09-12 10:04 ?368次閱讀

    友思特方案 | FPGA 加持,友思特圖像采集卡高速預(yù)處理助力視覺系統(tǒng)運(yùn)行提速增效

    分揀等系統(tǒng)快速?zèng)Q策。針對(duì)高速接口及實(shí)時(shí) / 大數(shù)據(jù)量場景,該采集卡是必備組件,可在 FPGA 上完成去拜耳化、HDR?等預(yù)處理,為視覺系統(tǒng)高效運(yùn)行奠基。
    的頭像 發(fā)表于 08-20 09:18 ?497次閱讀
    友思特方案 | FPGA 加持,友思特圖像采集卡高速<b class='flag-5'>預(yù)處理</b>助力視覺系統(tǒng)運(yùn)行提速增效

    FPGA 加持,友思特圖像采集卡高速預(yù)處理助力視覺系統(tǒng)運(yùn)行提速增效

    圖像預(yù)處理是圖像處理關(guān)鍵環(huán)節(jié),可優(yōu)化數(shù)據(jù)傳輸、減輕主機(jī)負(fù)擔(dān),其算法可在FPGA等硬件上執(zhí)行。友思特FPGA圖像采集卡憑借FPGA特性,能縮短處理時(shí)間、降低延遲,適用于高速接口及實(shí)時(shí)、
    的頭像 發(fā)表于 08-13 17:41 ?621次閱讀
    FPGA 加持,友思特圖像采集卡高速<b class='flag-5'>預(yù)處理</b>助力視覺系統(tǒng)運(yùn)行提速增效

    鋰電池制造 | 電芯預(yù)處理工藝的步驟詳解

    電芯預(yù)處理是鋰電池包制造的首要工序,無論是新能源汽車的續(xù)航穩(wěn)定性,還是儲(chǔ)能系統(tǒng)的循環(huán)壽命,其根基都可追溯至預(yù)處理工序?qū)﹄娦疽恢滦缘陌芽?,其核心在于通過系統(tǒng)檢測(cè)與篩選消除量產(chǎn)電芯的性能差異,為后續(xù)組裝
    的頭像 發(fā)表于 08-11 14:53 ?609次閱讀
    鋰電池制造 | 電芯<b class='flag-5'>預(yù)處理</b>工藝的步驟詳解

    工業(yè)大模型利用全流程數(shù)據(jù)采集推動(dòng)顯示行業(yè)生產(chǎn)制造升級(jí)

    挖掘與智能分析,顯示工業(yè)大模型能夠突破傳統(tǒng)生產(chǎn)模式的局限,在工藝優(yōu)化、質(zhì)量管控、設(shè)備運(yùn)維等關(guān)鍵環(huán)節(jié)實(shí)現(xiàn)智能化躍升,推動(dòng)顯示制造向更高效率、更高質(zhì)量、更低成本的方向發(fā)展。 全流程數(shù)據(jù):顯示工業(yè)大
    的頭像 發(fā)表于 07-28 10:37 ?288次閱讀

    歐菲光榮獲第七屆“深圳工業(yè)大獎(jiǎng)” 深圳工業(yè)界最高榮譽(yù)

    近日,第七屆“深圳工業(yè)大獎(jiǎng)”名單公示,經(jīng)深圳工業(yè)大獎(jiǎng)獨(dú)立評(píng)審團(tuán)成員認(rèn)真審議、記名投票,分別評(píng)選產(chǎn)生第七屆“深圳工業(yè)大獎(jiǎng)”企業(yè)10家、工業(yè)家1
    的頭像 發(fā)表于 07-15 18:07 ?865次閱讀

    工業(yè)大數(shù)據(jù)管理平臺(tái)是什么?有什么功能?

    PLC跨網(wǎng)段通信網(wǎng)關(guān)是一種用于解決工業(yè)自動(dòng)化領(lǐng)域中不同網(wǎng)絡(luò)段內(nèi)PLC(可編程邏輯控制器)設(shè)備通信問題的關(guān)鍵設(shè)備,其核心作用是實(shí)現(xiàn)不同網(wǎng)絡(luò)協(xié)議、IP網(wǎng)段之間的數(shù)據(jù)交互與信息傳輸,下面從多個(gè)方面詳細(xì)介紹
    的頭像 發(fā)表于 06-13 15:43 ?286次閱讀

    京東工業(yè)大模型Joy industrial重磅發(fā)布

    近日,中國領(lǐng)先的工業(yè)供應(yīng)鏈技術(shù)與服務(wù)企業(yè)京東工業(yè)于上海正式對(duì)外發(fā)布行業(yè)首個(gè)以供應(yīng)鏈為核心的工業(yè)大模型Joy industrial。Joy industrial鎖定
    的頭像 發(fā)表于 05-28 17:12 ?682次閱讀

    FPGA Verilog HDL語法之編譯預(yù)處理

    Verilog HDL語言和C語言一樣也提供了編譯預(yù)處理的功能。“編譯預(yù)處理”是Verilog HDL編譯系統(tǒng)的一個(gè)組成部分。Verilog HDL語言允許在程序中使用幾種特殊的命令(它們不是一般
    的頭像 發(fā)表于 03-27 13:30 ?920次閱讀
    FPGA Verilog HDL語法之編譯<b class='flag-5'>預(yù)處理</b>

    深度解析SSD2351核心板:硬核視頻處理+工業(yè)級(jí)可靠性設(shè)計(jì)

    明遠(yuǎn)智睿SSD2351核心板基于SigmaStar SSD2351芯片打造,專為高可靠性工業(yè)場景設(shè)計(jì),其硬件配置與接口能力充分滿足復(fù)雜環(huán)境下的多模態(tài)數(shù)據(jù)處理需求。 芯片技術(shù)細(xì)節(jié) : 視頻處理能力
    發(fā)表于 02-21 17:19

    緩存對(duì)大數(shù)據(jù)處理的影響分析

    緩存對(duì)大數(shù)據(jù)處理的影響顯著且重要,主要體現(xiàn)在以下幾個(gè)方面: 一、提高數(shù)據(jù)訪問速度 在大數(shù)據(jù)環(huán)境中,數(shù)據(jù)存儲(chǔ)通常采用分布式存儲(chǔ)系統(tǒng),數(shù)據(jù)量龐大
    的頭像 發(fā)表于 12-18 09:45 ?1010次閱讀

    cmp在數(shù)據(jù)處理中的應(yīng)用 如何優(yōu)化cmp性能

    ,然后在多個(gè)處理器上并行處理,顯著提高了數(shù)據(jù)處理的速度和吞吐量。 1. CMP在大數(shù)據(jù)處理中的應(yīng)用 在大數(shù)據(jù)處理中,CMP技術(shù)可以應(yīng)用于
    的頭像 發(fā)表于 12-17 09:27 ?1582次閱讀

    上位機(jī)系統(tǒng)優(yōu)化技巧 上位機(jī)如何處理大數(shù)據(jù)

    1. 數(shù)據(jù)預(yù)處理大數(shù)據(jù)處理過程中,數(shù)據(jù)預(yù)處理是至關(guān)重要的第一步。這包括
    的頭像 發(fā)表于 12-04 10:27 ?1370次閱讀

    Minitab 數(shù)據(jù)清理與預(yù)處理技巧

    Minitab是一款功能強(qiáng)大的統(tǒng)計(jì)分析和質(zhì)量管理軟件,在數(shù)據(jù)分析過程中,數(shù)據(jù)清理與預(yù)處理是至關(guān)重要的環(huán)節(jié)。以下是一些在Minitab中進(jìn)行數(shù)據(jù)清理與
    的頭像 發(fā)表于 12-02 16:06 ?2323次閱讀