基于預(yù)訓(xùn)練語言模型的行業(yè)搜索的應(yīng)用和研究
sparse retrieval：傳統(tǒng)的基于字或基于詞去建立倒排索引，同時基于此去構(gòu)建很多查詢理解的....
NLP類別不均衡問題之loss大集合
NLP 任務(wù)中，數(shù)據(jù)類別不均衡問題應(yīng)該是一個極常見又頭疼的的問題了。最近在工作中也是碰到這個問題....
Jina AI到底是做什么的？為什么要做這些
在 Jina AI，我們的產(chǎn)品囊括了跨模態(tài)、多模態(tài)、神經(jīng)搜索和生成式 AI，涵蓋了未來 AI 應(yīng)用的....
怎樣去使用ChatGPT呢？
文本生成模型已成為文本輸入方法（如聯(lián)想詞、語言檢查等）的重要技術(shù)支撐。
基于統(tǒng)一語義匹配的通用信息抽取框架USM
信息提?。↖nformation Extraction，IE）需要提取句子中的實體、關(guān)系、事件等，其....
對話機器人之Sparrow簡介
DeepMind提出的Sparrow，相對于以往的方法，是一種更加有用，準(zhǔn)確并且無害的信息檢索對話機....
基于Transformer編碼器的chatGPT模型設(shè)計
Bert 所作的事就是從大規(guī)模的上億的文本預(yù)料中，隨機地扣掉一部分字，形成上面例子的完形填空題型，不....
一鍵從Prompt到PowerPoint
職場人苦 PPT 久矣。想做出一份優(yōu)秀的 PPT，確實難點頗多：要構(gòu)思亮眼的標(biāo)題、簡明的大綱、精煉的....
ChatGPT反思大語言模型的技術(shù)精要
在Bert和GPT模型出現(xiàn)之前，NLP領(lǐng)域流行的技術(shù)是深度學(xué)習(xí)模型，而NLP領(lǐng)域的深度學(xué)習(xí)，主要依托....
模型任務(wù)的評價指標(biāo)體系
1. 寫在前面 模型“好”與“壞”的評價指標(biāo)直接由業(yè)務(wù)目標(biāo)/任務(wù)需求決定。我們需要做的是：根據(jù)具體的....
文本圖片編輯新范式：單個模型實現(xiàn)多文本引導(dǎo)圖像編輯
本文首先利用已有的編碼器將需要編輯的圖像轉(zhuǎn)換到 StyleGAN 的 語義空間中的潛在編碼 w，再通....
一文速覽人崗匹配領(lǐng)域研究進展
基于文本匹配的方法認(rèn)為求職者與職位是否匹配主要依賴于求職者簡歷中的技能或工作經(jīng)歷與職位要求描述之間是....
京東：基于多類目MoE模型的電商搜索引擎
此外，對于一些小類目的商品，在訓(xùn)練集樣本量上和大類目相比差距懸殊，在模型訓(xùn)練過程中會被大類目商品的樣....
基于長度感知注意機制的長度可控摘要模型
本文的方法是在由原始訓(xùn)練數(shù)據(jù)構(gòu)建的摘要長度平衡數(shù)據(jù)集上訓(xùn)練 LAAM，然后像往常一樣進行微調(diào)。結(jié)果表....
Distributed Data Parallel中的分布式訓(xùn)練
與DataParallel不同的是，Distributed Data Parallel會開設(shè)多個進程....
對話機器人之LaMDA
來自：NLP日志 提綱1 簡介 2 LaMDA 3 總結(jié) 1 簡介 LaMDA是在DeepMind的....
講一講ChatGPT的技術(shù)細(xì)節(jié)
通過人工標(biāo)注等方式，使用監(jiān)督學(xué)習(xí)的模式對GPT3模型（對這個是chatGPT模型的base）進行初步....
世界杯融入詞庫的位置編碼方法介紹
實際上在NER任務(wù)中，格是一個有向無環(huán)圖，其中每個節(jié)點都是一個字符或一個潛在的字，可以參考圖1a。格....
介紹幾篇EMNLP'22的語言模型訓(xùn)練方法優(yōu)化工作
來自：圓圓的算法筆記 今天給大家介紹3篇EMNLP 2022中語言模型訓(xùn)練方法優(yōu)化的工作，這3篇工作....
靴子落地：ChatGPT 國內(nèi)發(fā)展或被「拉手剎」
實際上，早在今年 1 月，國家網(wǎng)信辦就發(fā)布了《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定（征求意見稿）》，公開征....
為什么使用ROC曲線？
對于樣本數(shù)據(jù)，我們使用分類器對其進行分類，分類器會給出每個數(shù)據(jù)為正例的概率。我們可以針對此來設(shè)定一個....
基于優(yōu)化的元學(xué)習(xí)方法
為了解決上述問題，本文將目光從任務(wù)專用的soft prompt模型設(shè)計轉(zhuǎn)移到任務(wù)通用的模型參數(shù)初始化....
DataParallel里為什么會顯存不均勻以及如何解決
DataParallel里為什么會顯存不均勻以及如何解決
如何簡單粗暴的提升NER效果？
如果我們有一個訓(xùn)練數(shù)據(jù)集，比方說一個case：“海底撈的主要食物是火鍋”，在NER的任務(wù)中，標(biāo)注成為....
無殘差連接或歸一化層，也能成功訓(xùn)練深度Transformer
最近，使用信號傳播原則來訓(xùn)練更深度的 DNN 并且殘差架構(gòu)中沒有殘差連接和 / 或歸一化層的參與，成....
自然語言處理或?qū)⒂瓉硇碌姆妒阶冞w
從技術(shù)角度講，ChatGPT還是基于大規(guī)模預(yù)訓(xùn)練語言模型（GPT-3.5）強大的語言理解和生成的能力....
一文速覽醫(yī)學(xué)多模態(tài)進展
本文主要從全局和局部進行醫(yī)學(xué)圖像的表示學(xué)習(xí)，提出GLoRIA模型，主要使用注意機制，通過匹配放射學(xué)報....
對話系統(tǒng)中的多路召回和排序
首先，是比較經(jīng)典的檢索技術(shù)，這個其實對應(yīng)的比較經(jīng)典的檢索式對話，其實現(xiàn)在仍舊被廣泛使用，一些依賴數(shù)據(jù)....
張俊林：ChatGPT會成為下一代搜索引擎嗎
說回ChatGPT，例子就不舉了，在網(wǎng)上漫山遍野都是，我們主要從技術(shù)角度來聊聊。那么，ChatGPT....
CLIP-Chinese：中文多模態(tài)對比學(xué)習(xí)預(yù)訓(xùn)練模型
CLIP模型主要由文本編碼器和圖片編碼器兩部分組成，訓(xùn)練過程如下圖所示。對于batch size為N....
工商網(wǎng)監(jiān)