歐氏距離(Euclidean Distance)
歐式距離。 我們從最常見的歐式距離開始,歐式距離可解釋為連接兩個點(diǎn)的線段的長度。歐式距離公式非常簡單,使用勾股定理從這些點(diǎn)的笛卡爾坐標(biāo)計(jì)算距離。
缺點(diǎn):盡管這是一種常用的距離度量,但歐式距離并不是尺度不變的,這意味著所計(jì)算的距離可能會根據(jù)特征的單位發(fā)生傾斜。通常,在使用歐式距離度量之前,需要對數(shù)據(jù)進(jìn)行歸一化處理。 此外,隨著數(shù)據(jù)維數(shù)的增加,歐氏距離的作用也就越小。這與維數(shù)災(zāi)難(curse of dimensionality)有關(guān)。 用例:當(dāng)你擁有低維數(shù)據(jù)且向量的大小非常重要時,歐式距離的效果非常好。如果在低維數(shù)據(jù)上使用歐式距離,則如 k-NN 和 HDBSCAN 之類的方法可達(dá)到開箱即用的效果。 余弦相似度(Cosine Similarity)
余弦相似度。 余弦相似度經(jīng)常被用作抵消高維歐式距離問題。余弦相似度是指兩個向量夾角的余弦。如果將向量歸一化為長度均為 1 的向量,則向量的點(diǎn)積也相同。 兩個方向完全相同的向量的余弦相似度為 1,而兩個彼此相對的向量的余弦相似度為 - 1。注意,它們的大小并不重要,因?yàn)檫@是在方向上的度量。
缺點(diǎn):余弦相似度的一個主要缺點(diǎn)是沒有考慮向量的大小,而只考慮它們的方向。以推薦系統(tǒng)為例,余弦相似度就沒有考慮到不同用戶之間評分尺度的差異。 用例:當(dāng)我們對高維數(shù)據(jù)向量的大小不關(guān)注時,可以使用余弦相似度。對于文本分析,當(dāng)數(shù)據(jù)以單詞計(jì)數(shù)表示時,經(jīng)常使用此度量。例如,當(dāng)一個單詞在一個文檔中比另一個單詞更頻繁出現(xiàn)時,這并不一定意味著文檔與該單詞更相關(guān)。可能是文件長度不均勻或者計(jì)數(shù)的重要性不太重要。我們最好使用忽略幅度的余弦相似度。 漢明距離(Hamming Distance)
漢明距離。 漢明距離是兩個向量之間不同值的個數(shù)。它通常用于比較兩個相同長度的二進(jìn)制字符串。它還可以用于字符串,通過計(jì)算不同字符的數(shù)量來比較它們之間的相似程度。 缺點(diǎn):當(dāng)兩個向量長度不相等時,漢明距離使用起來很麻煩。當(dāng)幅度是重要指標(biāo)時,建議不要使用此距離指標(biāo)。 用例:典型的用例包括數(shù)據(jù)通過計(jì)算機(jī)網(wǎng)絡(luò)傳輸時的錯誤糾正 / 檢測。它可以用來確定二進(jìn)制字中失真的數(shù)目,作為估計(jì)誤差的一種方法。此外,你還可以使用漢明距離來度量分類變量之間的距離。 曼哈頓距離(Manhattan Distance)
曼哈頓距離。 曼哈頓距離通常稱為出租車距離或城市街區(qū)距離,用來計(jì)算實(shí)值向量之間的距離。想象一下均勻網(wǎng)格棋盤上的物體,如果它們只能移動直角,曼哈頓距離是指兩個向量之間的距離,在計(jì)算距離時不涉及對角線移動。
缺點(diǎn):盡管曼哈頓距離在高維數(shù)據(jù)中似乎可以工作,但它比歐式距離直觀性差,尤其是在高維數(shù)據(jù)中使用時。此外,由于它可能不是最短路徑,有可能比歐氏距離給出一個更高的距離值。 用例:當(dāng)數(shù)據(jù)集具有離散或二進(jìn)制屬性時,曼哈頓距離似乎工作得很好,因?yàn)樗紤]了在這些屬性的值中實(shí)際可以采用的路徑。以歐式距離為例,它會在兩個向量之間形成一條直線,但實(shí)際上這是不可能的。 切比雪夫距離(Chebyshev Distance)
切比雪夫距離。 切比雪夫距離定義為兩個向量在任意坐標(biāo)維度上的最大差值。換句話說,它就是沿著一個軸的最大距離。切比雪夫距離通常被稱為棋盤距離,因?yàn)閲H象棋的國王從一個方格到另一個方格的最小步數(shù)等于切比雪夫距離。
缺點(diǎn):切比雪夫距離通常用于特定的用例,這使得它很難像歐氏距離或余弦相似度那樣作為通用的距離度量。因此,在確定適合用例時才使用它。 用例:切比雪夫距離用于提取從一個方塊移動到另一個方塊所需的最小移動次數(shù)。此外,在允許無限制八向移動的游戲中,這可能是有用的方法。在實(shí)踐中,切比雪夫距離經(jīng)常用于倉庫物流,因?yàn)樗浅n愃朴谄鹬貦C(jī)移動一個物體的時間。 閔氏距離(Minkowski)
閔氏距離。 閔氏距離比大多數(shù)距離度量更復(fù)雜。它是在范數(shù)向量空間(n 維實(shí)數(shù)空間)中使用的度量,這意味著它可以在一個空間中使用,在這個空間中,距離可以用一個有長度的向量來表示。 閔氏距離公式如下:
最有趣的一點(diǎn)是,我們可以使用參數(shù) p 來操縱距離度量,使其與其他度量非常相似。常見的 p 值有:
p=1:曼哈頓距離
p=2:歐氏距離
p=∞:切比雪夫距離
缺點(diǎn):閔氏距離與它們所代表的距離度量有相同的缺點(diǎn),因此,對哈頓距離、歐幾里得距離和切比雪夫距離等度量標(biāo)準(zhǔn)有個好的理解非常重要。此外,參數(shù) p 的使用可能很麻煩,因?yàn)楦鶕?jù)用例,查找正確的 p 值在計(jì)算上效率低。 用例:p 的積極一面是可迭代,并找到最適合用例的距離度量。它允許在距離度量上有很大的靈活性,如果你非常熟悉 p 和許多距離度量,將會獲益多多。 雅卡爾指數(shù)(Jaccard Index)
雅卡爾指數(shù)。 雅卡爾指數(shù)(交并比)是用于比較樣本集相似性與多樣性的統(tǒng)計(jì)量。雅卡爾系數(shù)能夠量度有限樣本集合的相似度,其定義為兩個集合交集大小與并集大小之間的比例。 例如,如果兩個集合有 1 個共同的實(shí)體,而有 5 個不同的實(shí)體,那么雅卡爾指數(shù)為 1/5 = 0.2。要計(jì)算雅卡爾距離,我們只需從 1 中減去雅卡爾指數(shù):
缺點(diǎn):雅卡爾指數(shù)的一個主要缺點(diǎn)是它受數(shù)據(jù)大小的影響很大。大數(shù)據(jù)集對指數(shù)有很大影響,因?yàn)樗梢燥@著增加并集,同時保持交集相似。 用例:雅卡爾指數(shù)通常用于使用二進(jìn)制或二進(jìn)制數(shù)據(jù)的應(yīng)用程序中。當(dāng)你有一個深度學(xué)習(xí)模型來預(yù)測圖像分割時,比如一輛汽車,雅卡爾指數(shù)可以用來計(jì)算給定真實(shí)標(biāo)簽的預(yù)測分割的準(zhǔn)確度。 類似地,它可以用于文本相似性分析,以測量文檔之間有多少詞語重疊。因此,它可以用來比較模式集合。 半正矢(Haversine)
半正矢距離。 半正矢距離是指球面上的兩點(diǎn)在給定經(jīng)緯度條件下的距離。它與歐幾里得距離非常相似,因?yàn)樗梢杂?jì)算兩點(diǎn)之間的最短連線。主要區(qū)別在于半正矢距離不可能有直線,因?yàn)檫@里的假設(shè)是兩個點(diǎn)都在一個球面上。
缺點(diǎn):這種距離測量的一個缺點(diǎn)是,假定這些點(diǎn)位于一個球體上。實(shí)際上,這種情況很少出現(xiàn),例如,地球不是完美的圓形,在某些情況下可能使計(jì)算變得困難。相反,如果假定是橢球,使用 Vincenty 距離比較好。 用例:半正矢距離通常用于導(dǎo)航。例如,你可以使用它來計(jì)算兩個國家之間的飛行距離。請注意,如果距離本身不那么大,則不太適合。 S?rensen-Dice 系數(shù)
S?rensen-Dice 系數(shù)。 S?rensen-Dice 系數(shù)與雅卡爾指數(shù)非常相似,都是度量樣本集的相似性和多樣性。盡管它們的計(jì)算方法相似,但是 S?rensen-Dice 系數(shù)更直觀一些,因?yàn)樗梢员灰暈閮蓚€集合之間重疊的百分比,這個值在 0 到 1 之間:
缺點(diǎn):正如雅卡爾指數(shù),S?rensen-Dice 系數(shù)也夸大了很少或沒有真值的集合的重要性,因此,它可以控制多集合的平均得分,還可以控制多組平均得分并按相關(guān)集合的大小成反比地加權(quán)每個項(xiàng)目,而不是平等對待它們。 用例:用例與雅卡爾指數(shù)相似,它通常用于圖像分割任務(wù)或文本相似性分析。
責(zé)任編輯:lq
-
數(shù)據(jù)
+關(guān)注
關(guān)注
8文章
7255瀏覽量
91820 -
距離
+關(guān)注
關(guān)注
0文章
12瀏覽量
13889 -
向量
+關(guān)注
關(guān)注
0文章
55瀏覽量
11893
原文標(biāo)題:一文讀懂常見的9種距離度量方法
文章出處:【微信號:zenRRan,微信公眾號:深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
常見的PFC拓?fù)浼軜?gòu)及控制方法

光模塊波長與傳輸距離

惠斯通電橋的常見故障及解決方法
電子焊接的常見問題及解決方法
9種常見的換熱器工作原理

評論