chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Qdrant不只是高性能向量數(shù)據(jù)庫

jf_wN0SrCdH ? 來源:Rust語言中文社區(qū) ? 2023-05-11 09:41 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

Qdrant(讀作 quadrant)是一個向量相似度搜索引擎和向量數(shù)據(jù)庫。它提供了一個生產(chǎn)就緒的服務(wù),并具有便捷的 API,用于存儲、搜索和管理點,具有附加負(fù)載的向量。

ef924b3c-ef67-11ed-90ce-dac502259ad0.jpg

Qdrant 是專為擴展過濾支持而設(shè)計的,這使得它適用于各種基于神經(jīng)網(wǎng)絡(luò)或語義匹配、分面搜索等應(yīng)用。

Qdrant 使用 Rust 編寫,即使在高負(fù)載下也能快速、可靠地工作。至于性能文章后面有基準(zhǔn)測試結(jié)果。

使用 Qdrant,embeddings或神經(jīng)網(wǎng)絡(luò)編碼器可以直接轉(zhuǎn)化為完備的應(yīng)用程序,然后用于匹配、搜索、推薦等等!

github非常熱門,每天均以500star速度飆升。

efa3ff26-ef67-11ed-90ce-dac502259ad0.jpg

什么是向量數(shù)據(jù)庫

再搞清楚這個問題之前,先需要知道什么是向量(vector)。

什么是向量

AI領(lǐng)域中,向量是一個具有大小和方向的數(shù)學(xué)對象。它可以用來表示現(xiàn)實世界中的各種事物,例如圖像、語音、文本等。

機器學(xué)習(xí)深度學(xué)習(xí)中,向量通常被用作表示數(shù)據(jù)的形式,其中每個向量的維度代表了不同的特征或?qū)傩?。例如,在圖像分類任務(wù)中,一個圖像可以被表示為像素值組成的向量;在自然語言處理任務(wù)中,一句話可以被表示為單詞嵌入(word embeddings)組成的向量。通過對這些向量進行計算和比較,機器可以從數(shù)據(jù)中提取出有用的信息,如相似性、聚類等。

拿比如人臉識別技術(shù)來說,計算機從照片或視頻中提取出人臉的圖像,然后將人臉圖像轉(zhuǎn)換為128維或者更高維度的向量。說到向量,就離不開embeddings。下面說下embeddings是什么。

什么是embeddings

embeddings是一個相對低維度的空間,可以將高維向量轉(zhuǎn)換為低維度。embeddings使得在大型輸入上搞機器學(xué)習(xí)更加容易,例如表示單詞的稀疏向量。最理想的情況是,embeddings能夠通過將語義上相似的輸入放置在embeddings空間中彼此靠近來捕獲輸入的某些語義??梢栽诓煌哪P椭袑W(xué)習(xí)和重復(fù)使用嵌入。

這里有一個之前學(xué)習(xí)過的Google出品的機器學(xué)習(xí)的課程可以參考:

官方網(wǎng)站:

https://developers.google.com/machine-learning/crash-course/embeddings/video-lecture?hl=en
efc1bc14-ef67-11ed-90ce-dac502259ad0.jpg

什么是向量檢索

向量搜索是一種使用機器學(xué)習(xí)模型在索引中檢測對象間語義關(guān)系的方法,以找到具有相似特征的相關(guān)對象。

向量搜索和推薦的解決方案變得越來越常見。如果你想在你的網(wǎng)站上添加自然語言文本搜索、創(chuàng)建圖像搜索或構(gòu)建強大的推薦系統(tǒng),那么你就需要考慮使用向量技術(shù)。

為什么需要向量數(shù)據(jù)庫

上面的一些概念解釋了之后,其實在 AI 領(lǐng)域中,向量數(shù)據(jù)庫是為了更高效地存儲和檢索大規(guī)模高維度的向量數(shù)據(jù)而設(shè)計的。由于傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)并不擅長處理向量數(shù)據(jù),因此需要專門的向量數(shù)據(jù)庫來支持各種應(yīng)用場景,例如語義搜索、圖像檢索、推薦系統(tǒng)等。

與傳統(tǒng)數(shù)據(jù)庫不同,向量數(shù)據(jù)庫可以使用特殊的索引結(jié)構(gòu)和相似度度量方法,在高維度向量空間中快速查找相似的向量。例如,一些流行的向量數(shù)據(jù)庫如 Faiss 和 Annoy 使用基于倒排索引和近似最近鄰搜索(Approximate Nearest Neighbor Search)的技術(shù),極大地加快了向量數(shù)據(jù)的查詢速度。

向量數(shù)據(jù)庫還提供了方便的 API 接口和工具庫,使得用戶可以輕松地將其集成到自己的應(yīng)用程序中,并進行快速的向量搜索。因此,在許多需要處理大規(guī)模向量數(shù)據(jù)的 AI 應(yīng)用中,向量數(shù)據(jù)庫成為了不可或缺的組件。

qdrant如何使用

Python中直接使用一個基于內(nèi)存的qdrant

pipinstallqdrant-client

python客戶端提供了一種方便的方式在本地啟動qrant:

fromqdrant_clientimportQdrantClient
qdrant=QdrantClient("")#創(chuàng)建一個內(nèi)存Qdrant實例,可以用來測試CICD
#或者
client=QdrantClient(path="path/to/db")#持久化到磁盤

客戶端

這是推薦在生產(chǎn)中使用的方法。使用命令直接運行容器:

dockerrun-p6333:6333qdrant/qdrant

現(xiàn)在,可以使用任何客戶(包括Python)連接到服務(wù)端:

qdrant=QdrantClient("http://localhost:6333")

目前支持的客戶端有:

  • 官方: Go client

  • 官方: Rust client

  • 官方: JavaScript/TypeScript client

  • 官方: Python client

  • 社區(qū): Elixir

  • 社區(qū): PHP

  • 社區(qū): Ruby

  • 社區(qū): Java

Demo示例工程

efdbb20e-ef67-11ed-90ce-dac502259ad0.jpg

總結(jié)

如今大模型浪潮浩浩蕩蕩,紅紅火火。向量數(shù)據(jù)庫被看做是Ai Infra中最關(guān)鍵的一環(huán),這種專門用于存儲,索引和查詢向量的數(shù)據(jù)庫系統(tǒng),可以讓大模型更高效的存儲和讀取知識庫,并且以更低成本的進行模型微調(diào)。Rust作為新基建的首選語言,也會在Ai infra中被大量采用。

一文告訴你為什么Mojo比python快35000x

一個用Rust寫的Go編譯器

極簡而強大: 一個用 Rust 編寫的 Shell 歷史記錄工具


審核編輯 :李倩


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • API
    API
    +關(guān)注

    關(guān)注

    2

    文章

    1605

    瀏覽量

    63994
  • 數(shù)據(jù)庫
    +關(guān)注

    關(guān)注

    7

    文章

    3925

    瀏覽量

    66179
  • 機器學(xué)習(xí)
    +關(guān)注

    關(guān)注

    66

    文章

    8501

    瀏覽量

    134566
  • 深度學(xué)習(xí)
    +關(guān)注

    關(guān)注

    73

    文章

    5561

    瀏覽量

    122780

原文標(biāo)題:Qdrant不只是高性能向量數(shù)據(jù)庫

文章出處:【微信號:Rust語言中文社區(qū),微信公眾號:Rust語言中文社區(qū)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    大模型卷價格,向量數(shù)據(jù)庫“卷”什么?

    被大模型“帶飛”這一年,向量數(shù)據(jù)庫才剛剛寫下序言
    的頭像 發(fā)表于 05-23 09:24 ?2176次閱讀
    大模型卷價格,<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>“卷”什么?

    莫名被戳中的“不只是”體

    三星電視發(fā)起“不只是”體,金秀賢版本和三星UHD電視版本一出,機智的網(wǎng)友們,將各種時下熱門紛紛打造成各種“不只是”體,加以調(diào)侃、唏噓,只有你想不到,沒有他們寫不出。據(jù)說,只要參與創(chuàng)造不只是體的還有
    發(fā)表于 05-26 17:24

    莫名被戳中的“不只是”體

    三星電視發(fā)起“不只是”體,金秀賢版本和三星UHD電視版本一出,機智的網(wǎng)友們,將各種時下熱門紛紛打造成各種“不只是”體,加以調(diào)侃、唏噓,只有你想不到,沒有他們寫不出。據(jù)說,只要參與創(chuàng)造不只是體的還有
    發(fā)表于 05-26 17:26

    為什么說藍牙技術(shù)不只是連接?

    藍牙作為實現(xiàn)物聯(lián)網(wǎng)的一種關(guān)鍵技術(shù),如今它不只是連接,也將是智能的“標(biāo)配”。雖然物聯(lián)網(wǎng)尚未完全普及開來,但是很多人已經(jīng)開始討論AIoT了,也就是智慧互聯(lián)。馬云和雷軍等大佬們不止一次在公開場合表示,AIoT才是未來物聯(lián)網(wǎng)的終極形態(tài),這也就意味著僅僅靠連接技術(shù),很難搶占未來巨大的IoT藍海市場。
    發(fā)表于 09-11 11:51

    提高Oracle的數(shù)據(jù)庫性能

    問題。通過優(yōu)化SQL語句效率、擴充高級緩沖區(qū)和配置重做日志緩沖區(qū)等幾個方面介紹了Oracle數(shù)據(jù)庫優(yōu)化方法,探討了OraCle如何提高性能優(yōu)化的措施。通過測試Oracle查詢結(jié)果表明,經(jīng)過優(yōu)化后的Oracle數(shù)據(jù)庫縮短了響應(yīng)時間
    發(fā)表于 11-11 18:16 ?4次下載

    【數(shù)轉(zhuǎn)視野】不只是科技企業(yè) 傳統(tǒng)企業(yè)更需要數(shù)字化轉(zhuǎn)型

    【數(shù)轉(zhuǎn)視野】不只是科技企業(yè) 傳統(tǒng)企業(yè)更需要數(shù)字化轉(zhuǎn)型
    的頭像 發(fā)表于 06-27 19:39 ?3615次閱讀

    工業(yè)投影設(shè)計——不只是為了觀看

    工業(yè)投影設(shè)計——不只是為了觀看
    發(fā)表于 11-02 08:15 ?0次下載
    工業(yè)投影設(shè)計——<b class='flag-5'>不只是</b>為了觀看

    向量數(shù)據(jù)庫是如何工作的?

    向量數(shù)據(jù)庫和 Embedding 是當(dāng)前 AI 領(lǐng)域的熱門話題。
    的頭像 發(fā)表于 06-18 11:06 ?1177次閱讀
    <b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>是如何工作的?

    北美有的,中國也有了!Zilliz Cloud向量數(shù)據(jù)庫云服務(wù)重磅登場

    Milvus自2019年正式開源以來,已經(jīng)成長為全球最大、最活躍的向量數(shù)據(jù)庫開源項目與開發(fā)者社區(qū)。作為Milvus背后的開發(fā)者與運營者,Zilliz一直走在向量數(shù)據(jù)庫的最前沿,始終秉承
    的頭像 發(fā)表于 07-12 16:30 ?1615次閱讀
    北美有的,中國也有了!Zilliz Cloud<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>云服務(wù)重磅登場

    向量數(shù)據(jù)庫:AI時代的下一個熱點

    AI大模型帶火了向量數(shù)據(jù)庫
    的頭像 發(fā)表于 08-08 22:45 ?621次閱讀

    什么是向量數(shù)據(jù)庫?關(guān)系數(shù)據(jù)庫向量數(shù)據(jù)庫之間的區(qū)別是什么?

    向量數(shù)據(jù)庫是一種以向量嵌入(高維向量)方式存儲和管理非結(jié)構(gòu)化數(shù)據(jù)(如文本、圖像或音頻)的數(shù)據(jù)庫
    的頭像 發(fā)表于 08-16 10:13 ?3174次閱讀
    什么是<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>?關(guān)系<b class='flag-5'>數(shù)據(jù)庫</b>和<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>之間的區(qū)別是什么?

    探尋向量數(shù)據(jù)庫爆火的真相,Zilliz 技術(shù)合伙人帶你解惑

    大模型時代的到來將向量數(shù)據(jù)庫的熱度推向了高點,在此氛圍下,有人發(fā)出了哲學(xué)家般的一問:究竟是大模型選擇了向量數(shù)據(jù)庫還是向量
    的頭像 發(fā)表于 09-28 11:40 ?757次閱讀
    探尋<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>爆火的真相,Zilliz 技術(shù)合伙人帶你解惑

    搭載英偉達GPU,全球領(lǐng)先的向量數(shù)據(jù)庫公司Zilliz發(fā)布Milvus2.4向量數(shù)據(jù)庫

    在美國硅谷圣何塞召開的 NVIDIA GTC 大會上,全球領(lǐng)先的向量數(shù)據(jù)庫公司 Zilliz 發(fā)布了 Milvus 2.4 版本。這是一款革命性的向量數(shù)據(jù)庫系統(tǒng),在業(yè)界首屈一指,它首次
    的頭像 發(fā)表于 04-01 14:33 ?990次閱讀
    搭載英偉達GPU,全球領(lǐng)先的<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>公司Zilliz發(fā)布Milvus2.4<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>

    科技云報到:大模型時代下,向量數(shù)據(jù)庫的野望

    科技云報到:大模型時代下,向量數(shù)據(jù)庫的野望
    的頭像 發(fā)表于 10-14 17:18 ?536次閱讀

    milvus向量數(shù)據(jù)庫的主要特性和應(yīng)用場景

    Milvus 是一個開源的向量數(shù)據(jù)庫,專門為處理和分析大規(guī)模向量數(shù)據(jù)而設(shè)計。它適用于需要高效存儲、檢索和管理向量
    的頭像 發(fā)表于 07-04 11:36 ?180次閱讀
    milvus<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>的主要特性和應(yīng)用場景