糾錯(cuò)框架的基本結(jié)構(gòu)

最簡單的一種方法，就是結(jié)合詞典去做，這個(gè)詞典其實(shí)已經(jīng)有比較通用的，那就是jieba的詞典（idf.txt），對于絕大部分人而言，輸入的東西一般都是TOP...

2020-10-10 標(biāo)簽：框架糾錯(cuò)語言模型 1559 0

OpenAI已向微軟授予GPT-3的獨(dú)家許可

執(zhí)行副總裁凱文·斯科特（Kevin Scott）表示：“我們認(rèn)為，這是擴(kuò)展以Azure技術(shù)為基礎(chǔ)的AI平臺(tái)的絕佳機(jī)會(huì)，它可以使AI技術(shù)民主化，提供新產(chǎn)品...

2020-09-30 標(biāo)簽：微軟語言模型ai技術(shù) 1692 0

SuperGLUE正式上線：NLP模型們，來迎接挑戰(zhàn)吧！

GLUE全稱是通用語言理解評(píng)估（General Language Understanding Evaluation），基于已有的9種英文語言理解任務(wù)，涵...

2019-09-13 標(biāo)簽：語言模型數(shù)據(jù)集nlp 4328 0

OpenAI宣布，發(fā)布了7.74億參數(shù)GPT-2語言模型

就在本周，OpenAI宣布，發(fā)布了7.74億參數(shù)GPT-2語言模型，15.58億的完整模型也有望于幾個(gè)月內(nèi)發(fā)布，并將GPT-2這6個(gè)月的進(jìn)展情況在博客上...

2019-09-01 標(biāo)簽：語言模型數(shù)據(jù)集nlp 3215 0

布朗大學(xué)90后研究生：我們復(fù)現(xiàn)了15億參數(shù)GPT-2模型，你也行！

本模型的實(shí)現(xiàn)基于Grover模型，并修改其代碼庫以匹配GPT-2的語言建模訓(xùn)練目標(biāo)。由于他們的模型是在類似的大型語料庫上進(jìn)行訓(xùn)練的，因此大部分代碼和超參...

2019-09-01 標(biāo)簽：語言模型數(shù)據(jù)集 3583 0

OpenAI發(fā)布一款令人印象深刻的語言模型GPT-2

今年2月，OpenAI發(fā)布了一款令人印象深刻的語言模型GPT-2，它可以寫短篇小說、詩歌，甚至輕松辨別《哈利波特》和《指環(huán)王》中的角色。最近，一位加拿大...

2019-05-17 標(biāo)簽：AI語言模型機(jī)器學(xué)習(xí) 4768 0

一套新的自然語言處理（NLP）評(píng)估基準(zhǔn)，名為 SuperGLUE

實(shí)現(xiàn) NLP 的方法有很多，主流的方法大多圍繞多任務(wù)學(xué)習(xí)和語言模型預(yù)訓(xùn)練展開，由此孕育出很多種不同模型，比如 BERT、MT-DNN、ALICE 和 S...

2019-04-29 標(biāo)簽：語言模型自然語言處理nlp 6481 0

谷歌再次發(fā)布BERT的多語言模型和中文模型

為了評(píng)估這些系統(tǒng)，我們使用了XNLI dataset，它是MultiNLI的一個(gè)版本，其中dev集和test集已經(jīng)（由人類）翻譯成15種語言。需要注意的...

2018-11-08 標(biāo)簽：谷歌語言模型機(jī)器翻譯 6339 0