hdfs知識

• 

  HBase集群數(shù)據(jù)在線遷移方案探索

  一、背景 訂單本地化系統(tǒng)目前一個(gè)月的訂單的讀寫已經(jīng)切至jimkv存儲，對應(yīng)的HBase集群已下線。但存儲全量數(shù)據(jù)的HBa

  2024-06-12 標(biāo)簽： 接口 編程 數(shù)據(jù)遷移 1388 0

• 

  基于Clickhouse構(gòu)建新一代日志存儲系統(tǒng)

  服務(wù)重啟變得特別慢且 Sys cpu 被打滿，原因是在服務(wù)重啟的過程中需要并發(fā)的加載 HDFS 上 Part 的元數(shù)據(jù)，

  2024-03-12 標(biāo)簽： TCP 存儲系統(tǒng) HDFS 1098 0

• 

  Alluxio是如何助力AI大模型訓(xùn)練的呢？

  隨著云原生技術(shù)的飛速發(fā)展，各大公有云廠商提供的云服務(wù)也變得越來越標(biāo)準(zhǔn)、可靠和易用。憑借著云原生技術(shù)，用戶不僅可以在不同的

  2023-08-17 標(biāo)簽： 存儲器 緩存器 機(jī)器學(xué)習(xí) 2198 0

• 

  Apache Doris巨大飛躍：存算分離新架構(gòu)介紹

  歷史上，數(shù)據(jù)分析需求的不斷提升（更大的數(shù)據(jù)規(guī)模、更快的處理速度、更低的使用成本）和計(jì)算基礎(chǔ)設(shè)施的不斷進(jìn)化（從專用的高端硬

  2023-08-04 標(biāo)簽： 存儲器 計(jì)算機(jī) 耦合器 1456 0

• 

  存算分離架構(gòu)設(shè)計(jì)與遷移實(shí)踐

  今天的案例分享來自社區(qū)用戶一面數(shù)據(jù)，這是一家通過解讀電商平臺和社交媒體渠道的海量數(shù)據(jù)，為全球快消巨頭（如寶潔、聯(lián)合利華和

  2023-07-26 標(biāo)簽： 存儲器 MYSQL數(shù)據(jù)庫 tpc 1388 0

• 8種主流數(shù)據(jù)遷移工具技術(shù)選型

  ETL(是Extract-Transform-Load的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程)，對于企業(yè)應(yīng)用來說，我們經(jīng)常

  2023-04-20 標(biāo)簽： ETL JAVA語言 HDFS 1325 0

• 分析Hive與Spark分區(qū)策略的異同點(diǎn)

  隨著技術(shù)的不斷的發(fā)展，大數(shù)據(jù)領(lǐng)域?qū)τ诤Ａ繑?shù)據(jù)的存儲和處理的技術(shù)框架越來越多。在離線數(shù)據(jù)處理生態(tài)系統(tǒng)最具代表性的分布式處理

  2023-04-11 標(biāo)簽： 數(shù)據(jù)存儲 IOPs HDFS 1170 0

• 大數(shù)據(jù)計(jì)算框架簡介

  Hadoop是目前世界上應(yīng)用最廣泛的大數(shù)據(jù)工具。Hadoop具有高容錯(cuò)率，且其硬件價(jià)格低，可以使用普通PC服務(wù)器（個(gè)人理

  2023-03-20 標(biāo)簽： JAVA PC服務(wù)器 編程語言 2595 0

• 分布式文件系統(tǒng)的設(shè)計(jì)框架

  因?yàn)镠DFS系統(tǒng)（分布式文件系統(tǒng)）可由數(shù)百或數(shù)千個(gè)存儲文件數(shù)據(jù)片段的服務(wù)器組成，即HDFS系統(tǒng)包含較多的硬件設(shè)備，所以H

  2023-03-20 標(biāo)簽： 服務(wù)器 存儲數(shù)據(jù) HDFS 1214 0

• 大數(shù)據(jù)應(yīng)用的開發(fā)流程

  大數(shù)據(jù)常見處理流程包括：原始數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)存儲、統(tǒng)計(jì)分析、存儲至數(shù)據(jù)倉庫、數(shù)據(jù)導(dǎo)出、導(dǎo)入數(shù)據(jù)庫、數(shù)據(jù)可視化。

  2023-02-22 標(biāo)簽： 數(shù)據(jù)庫 機(jī)器學(xué)習(xí) python 5965 0

展開查看更多