嵌入式 AI

AI 簡(jiǎn)報(bào) 20230317 期

1. AI服務(wù)器市場(chǎng)規(guī)模持續(xù)增加，國(guó)內(nèi)存在哪些算力瓶頸？

原文：

https://mp.weixin.qq.com/s/v04vZCBxNzfCUDTy_8iSoA

近年來(lái)，在全球數(shù)字化、智能化的浪潮下，智能手機(jī)、自動(dòng)駕駛、數(shù)據(jù)中心、圖像識(shí)別等應(yīng)用推動(dòng) AI服務(wù)器市場(chǎng)迅速成長(zhǎng)。根據(jù) IDC 數(shù)據(jù)，2021 年全球 AI 服務(wù)器市場(chǎng)規(guī)模已達(dá)到 145 億美元，并預(yù)計(jì) 2025 年將超過(guò) 260 億美元。

近段時(shí)間ChatGPT概念的火熱，更是對(duì)算力基礎(chǔ)設(shè)施的需求起到了帶動(dòng)作用。寧暢副總裁兼CTO趙雷此前在接受媒體采訪的時(shí)候表示，ChatGP的訓(xùn)練和部署，都需要大量智能計(jì)算數(shù)據(jù)存儲(chǔ)以及傳輸資源，計(jì)算機(jī)基礎(chǔ)設(shè)施、算力等上游技術(shù)將因此受益。

ChatGPT有著多達(dá)1750億個(gè)模型參數(shù)。在算力方面，GPT-3.5在訓(xùn)練階段消耗的總算力約3640PF-days。在應(yīng)用時(shí)，ChatGPT仍然需要大算力的服務(wù)器支持。ChatGPT的持續(xù)爆火也為AIGC帶來(lái)全新增量，行業(yè)對(duì)AI模型訓(xùn)練所需要的算力支持提出了更高要求。

寧暢是一家集研發(fā)、生產(chǎn)、部署、運(yùn)維一體的服務(wù)器廠商，及IT系統(tǒng)解決方案提供商。該公司早早就開(kāi)始著重發(fā)力于人工智能服務(wù)器和液冷服務(wù)器。趙雷表示，公司目前在用的、在研的人工智能和液冷服務(wù)器，包括明年還將推出的浸沒(méi)液冷服務(wù)器，剛好跟上算力高速增長(zhǎng)的市場(chǎng)需求。公司隨時(shí)準(zhǔn)備著為客戶提供合適的高算力產(chǎn)品和解決方案。

在人工智能服務(wù)器方面，寧暢已經(jīng)推出多款產(chǎn)品，包括X620 G50、X660 G45、X640 G40、X620 G40。X620 G50適用于機(jī)器學(xué)習(xí)、AI推理、云計(jì)算、高性能計(jì)算等場(chǎng)景；660 G45是專(zhuān)門(mén)為深度學(xué)習(xí)訓(xùn)練開(kāi)發(fā)的高性能計(jì)算平臺(tái)；X640 G40是兼?zhèn)溆?xùn)練與推理功能的全能型GPU服務(wù)器；X620 G40性能提升的同時(shí)支持PCIe 4.0高速總線技術(shù)，完美支持NVIDIA各類(lèi)最新型GPU加速服務(wù)，是最為理想的AI推理平臺(tái)。

在液冷服務(wù)器方面，寧暢推出了三款冷板式液冷服務(wù)器，包括產(chǎn)品B5000 G4 LP、X660 G45 LP、R620 G40 LP，范圍覆蓋了高密度、通用機(jī)架以及人工智能服務(wù)器產(chǎn)品，可滿足科學(xué)計(jì)算、AI訓(xùn)練、云計(jì)算等眾多IT應(yīng)用場(chǎng)景，可滿足用戶不同需求。

作為服務(wù)器廠商需要給下游互聯(lián)網(wǎng)客戶提供怎樣的產(chǎn)品和服務(wù)呢？對(duì)于服務(wù)器廠商來(lái)說(shuō)，不只是要提供服務(wù)器硬件或者基礎(chǔ)設(shè)施，還要有對(duì)應(yīng)的服務(wù)能力。

從服務(wù)層面來(lái)看，在用戶現(xiàn)場(chǎng)會(huì)關(guān)注什么呢，比如說(shuō)核心業(yè)務(wù)，會(huì)關(guān)注業(yè)務(wù)的在線率，不管服務(wù)器壞不壞，整個(gè)業(yè)務(wù)的運(yùn)行是要有彈性的、靈活的，不會(huì)給客戶造成影響的。就以百度、微信這些業(yè)務(wù)為例，大家?guī)缀醪粫?huì)看到微信不能用了，或者百度搜索不反饋結(jié)果了。

趙雷表示，對(duì)于服務(wù)器廠商來(lái)說(shuō)，要做的是在服務(wù)層面能夠快速響應(yīng)，不管是采用現(xiàn)場(chǎng)備件模式，機(jī)房備機(jī)模式，還是駐場(chǎng)人員巡檢的模式，都需要做到24小時(shí)的快速響應(yīng)。這是純粹的服務(wù)方面，也就是說(shuō)，在互聯(lián)網(wǎng)搭建業(yè)務(wù)連續(xù)性良好的基礎(chǔ)上，服務(wù)器廠商能夠?qū)⒐收虾涂焖?a target="_blank">維修的能力做到極致，有效地支撐客戶的前端應(yīng)用。

從產(chǎn)品層面來(lái)看，對(duì)于每個(gè)硬件子系統(tǒng)在設(shè)計(jì)研發(fā)過(guò)程中，都需要從易維修和低故障角度去思考如何將產(chǎn)品做得更好。寧暢在這方面做了很多工作：首先，現(xiàn)在冷卻方式是影響故障率比較重要的因素，因?yàn)闇囟忍吖收下示蜁?huì)高，寧暢的精密風(fēng)冷和液冷的方式，能夠有效地降低芯片和對(duì)應(yīng)組件的故障率。

其次，其精密六維減震模式，能夠有效提升硬盤(pán)的性能，降低故障率；接著是，采用DAE的散熱器，從散熱的維度有效降低光模塊的故障率。同時(shí)CPU、GPU的液冷可以有效降低CPU、GPU的故障率；通過(guò)內(nèi)存的漏斗，內(nèi)存的故障篩選或者在線隔離技術(shù)，有效地降低內(nèi)存的故障率；另外還在板卡走線、機(jī)箱結(jié)構(gòu)方面進(jìn)行了優(yōu)化設(shè)計(jì)。

此外還有整機(jī)BMC易管理特性，趙雷認(rèn)為，任何東西不可能不壞，有毛病是不可避免的，壞了以后，如何快速通知客戶或者維護(hù)人員維修時(shí)關(guān)鍵。BMC有一個(gè)完善的通知機(jī)制，郵件自動(dòng)通知、SMP遠(yuǎn)程告警、IPMI告警等。寧暢按照互聯(lián)網(wǎng)客戶的需求定制，將其融入整個(gè)機(jī)房的運(yùn)維系統(tǒng)，出現(xiàn)故障以后可以第一時(shí)間通知去維修。

雖然目前國(guó)內(nèi)有不少優(yōu)秀的服務(wù)器、云廠商等，不過(guò)整體來(lái)看，國(guó)內(nèi)的算力仍然存在瓶頸，比如，總體算力不夠，算力的分布不平均。部分客戶算力過(guò)剩，部分客戶算力不足?；蛘逜時(shí)間算力過(guò)剩，B時(shí)間算力不足，這是算力協(xié)調(diào)的問(wèn)題。

短期來(lái)看這個(gè)問(wèn)題要靠云技術(shù)解決，長(zhǎng)期來(lái)看是要提供過(guò)剩的算力。也就是說(shuō)，需要云技術(shù)去平衡協(xié)調(diào)算力不均勻的問(wèn)題，還需要提供算力、算力效率等。

再比如算力成本高的問(wèn)題，雖然目前每單位算力單價(jià)下降了，但是過(guò)去幾年服務(wù)器的平均售價(jià)一直上漲。趙雷認(rèn)為，可能算力類(lèi)型單一，不太能夠有效地支撐高速增長(zhǎng)的模式，可能要有各種各樣不同類(lèi)型的算力。比如ChatGPT，是不是可以做針對(duì)GPT模型專(zhuān)門(mén)的ASIC。算力的應(yīng)用類(lèi)型越窄，它的效率就會(huì)越高，越通用，效率就越低。

整體而言，過(guò)去幾年在全球數(shù)字化、智能化浪潮下，市場(chǎng)對(duì)算力的需求不斷增加。ChatGP的出現(xiàn)更是讓行業(yè)對(duì)算力提出了新的要求。國(guó)內(nèi)服務(wù)器廠商在對(duì)人工智能行業(yè)提供算力支持方面已經(jīng)有所準(zhǔn)備。不過(guò)從目前的情況來(lái)看，國(guó)內(nèi)在算力方面仍然存在一些瓶頸，比如算力分布不均勻，成本高等問(wèn)題。后續(xù)還需業(yè)界共同去探討解決。

2. PyTorch 2.0正式版發(fā)布！一行代碼提速2倍，100%向后兼容

原文：

https://mp.weixin.qq.com/s/wC0Oixd3hSnH75DsPDTC-g

去年12月，PyTorch基金會(huì)在PyTorch Conference 2022上發(fā)布了PyTorch 2.0的第一個(gè)預(yù)覽版本。

跟先前1.0版本相比，2.0有了顛覆式的變化。在PyTorch 2.0中，最大的改進(jìn)是torch.compile。

新的編譯器比以前PyTorch 1.0中默認(rèn)的「eager mode」所提供的即時(shí)生成代碼的速度快得多，讓PyTorch性能進(jìn)一步提升。

除了2.0之外，還發(fā)布了一系列PyTorch域庫(kù)的beta更新，包括那些在樹(shù)中的庫(kù)，以及包括 TorchAudio、TorchVision和TorchText在內(nèi)的獨(dú)立庫(kù)。TorchX的更新也同時(shí)發(fā)布，可以提供社區(qū)支持模式。

-torch.compile是PyTorch 2.0的主要API，它包裝并返回編譯后的模型，torch.compile是一個(gè)完全附加（和可選）的特性，因此2.0版本是100%向后兼容的。

-作為torch.compile的基礎(chǔ)技術(shù)，帶有Nvidia和AMD GPU的TorchInductor將依賴(lài)OpenAI Triton深度學(xué)習(xí)編譯器來(lái)生成高性能代碼，并隱藏低級(jí)硬件細(xì)節(jié)。OpenAI Triton生成的內(nèi)核實(shí)現(xiàn)的性能，與手寫(xiě)內(nèi)核和cublas等專(zhuān)門(mén)的cuda庫(kù)相當(dāng)。

-Accelerated Transformers引入了對(duì)訓(xùn)練和推理的高性能支持，使用自定義內(nèi)核架構(gòu)實(shí)現(xiàn)縮放點(diǎn)積注意力 (SPDA)。API與torch.compile () 集成，模型開(kāi)發(fā)人員也可以通過(guò)調(diào)用新的scaled_dot_product_attention () 運(yùn)算符，直接使用縮放的點(diǎn)積注意力內(nèi)核。

-Metal Performance Shaders (MPS) 后端在Mac平臺(tái)上提供GPU加速的PyTorch訓(xùn)練，并增加了對(duì)前60個(gè)最常用操作的支持，覆蓋了300多個(gè)操作符。

-Amazon AWS優(yōu)化了基于AWS Graviton3的C7g實(shí)例上的PyTorch CPU推理。與之前的版本相比，PyTorch 2.0提高了Graviton的推理性能，包括對(duì)Resnet50和Bert的改進(jìn)。

-跨TensorParallel、DTensor、2D parallel、TorchDynamo、AOTAutograd、PrimTorch和TorchInductor的新原型功能和技術(shù)。

3. OpenAI公布GPT-4：可在考試中超過(guò)90%的人類(lèi)

原文：

https://mp.weixin.qq.com/s/YYZNYOUItGW18xAWk7In8Q

當(dāng)?shù)貢r(shí)間周二(3月14日)，人工智能研究公司OpenAI公布了其大型語(yǔ)言模型的最新版本——GPT-4.該公司表示，GPT-4在許多專(zhuān)業(yè)測(cè)試中表現(xiàn)出超過(guò)絕大多數(shù)人類(lèi)的水平。

OpenAI表示，我們已經(jīng)創(chuàng)建了GPT-4，這是OpenAI在深度學(xué)習(xí)規(guī)模化方面的最新里程碑。GPT-4是一個(gè)大型的多模型模型（接受圖像和文本輸入、輸出文本），雖然在許多現(xiàn)實(shí)場(chǎng)景中不如人類(lèi)聰明，但在各種專(zhuān)業(yè)和學(xué)術(shù)基準(zhǔn)測(cè)試中表現(xiàn)出人類(lèi)水平的性能。

看起來(lái)，現(xiàn)在的 GPT 已經(jīng)不會(huì)在計(jì)算上胡言亂語(yǔ)了：

還是個(gè)物理題：

GPT-4 看懂了法語(yǔ)題目，并完整解答：

GPT-4 可以理解一張照片里「有什么不對(duì)勁的地方」：

OpenAI于2020年發(fā)布了GPT（生成型預(yù)訓(xùn)練變換模型）-3（生成型預(yù)訓(xùn)練變換模型），并將其與GPT-3.5分別用于創(chuàng)建Dall-E和聊天機(jī)器人ChatGPT，這兩款產(chǎn)品極大地吸引了公眾的關(guān)注，并刺激其他科技公司更積極地追求人工智能（AI）。OpenAI周二表示，在內(nèi)部評(píng)估中，相較于GPT-3.5，GPT-4產(chǎn)生正確回應(yīng)的可能性要高出40%。而且GPT-4是多模態(tài)的，同時(shí)支持文本和圖像輸入功能。

OpenAI稱(chēng)，GPT-4比以前的版本“更大”，這意味著其已經(jīng)在更多的數(shù)據(jù)上進(jìn)行了訓(xùn)練，并且在模型文件中有更多的權(quán)重，這使得它的運(yùn)行成本更高。

據(jù)OpenAI介紹，在某些情況下，GPT-4比之前的GPT-3.5版本有了巨大改進(jìn)，新模型將產(chǎn)生更少的錯(cuò)誤答案，更少地偏離談話軌道，更少地談?wù)摻稍掝}，甚至在許多標(biāo)準(zhǔn)化測(cè)試中比人類(lèi)表現(xiàn)得更好。

例如，GPT-4在模擬律師資格考試的成績(jī)?cè)诳忌信琶?0%左右，在SAT閱讀考試中排名前7%左右，在SAT數(shù)學(xué)考試中排名前11%左右。

OpenAI表示，雖然兩個(gè)版本在日常對(duì)話中看起來(lái)很相似，但當(dāng)任務(wù)復(fù)雜到一定程度時(shí)，差異就表現(xiàn)出來(lái)了，GPT-4更可靠、更有創(chuàng)造力，能夠處理更微妙的指令。

不過(guò)，OpenAI也警告稱(chēng)，GPT-4還不完美，在許多情況下，它的能力不如人類(lèi)。該公司表示：“GPT-4仍有許多已知的局限性，我們正在努力解決，比如社會(huì)偏見(jiàn)、幻覺(jué)和對(duì)抗性提示。”

OpenAI透露，摩根士丹利正在使用GPT-4來(lái)組織數(shù)據(jù)，而電子支付公司Stripe正在測(cè)試GPT-4是否有助于打擊欺詐。其他客戶還包括語(yǔ)言學(xué)習(xí)公司Duolingo、Khan Academy和冰島政府。

OpenAI合作伙伴微軟周二表示，新版必應(yīng)搜索引擎將使用GPT-4。

4. 物理學(xué)家狂喜的AI工具開(kāi)源了！靠實(shí)驗(yàn)數(shù)據(jù)直接發(fā)現(xiàn)物理公式，筆記本就能跑

原文：

https://mp.weixin.qq.com/s/0eGiiWdKUyQcg54azY5evg

一個(gè)讓物理學(xué)家狂喜的AI工具，在GitHub上開(kāi)源了！它名叫Φ-SO ，能直接從數(shù)據(jù)中找到隱藏的規(guī)律，而且一步到位，直接給出對(duì)應(yīng)公式。

整個(gè)過(guò)程也不需要?jiǎng)佑贸悖?strong style="font-size:inherit;color:inherit;line-height:inherit;">一臺(tái)筆記本大概4個(gè)小時(shí)就能搞定愛(ài)因斯坦的質(zhì)能方程。

這項(xiàng)成果來(lái)自德國(guó)斯特拉斯堡大學(xué)與澳大利亞聯(lián)邦科學(xué)與工業(yè)研究組織Data61部門(mén)，據(jù)論文一作透露，研究用了1.5年時(shí)間，受到學(xué)術(shù)界廣泛關(guān)注。代碼一經(jīng)開(kāi)源，漲星也是飛快。

除了物理學(xué)者直呼Amazing之外，還有其他學(xué)科研究者趕來(lái)探討，能不能把同款方法遷移到他們的領(lǐng)域。

強(qiáng)化學(xué)習(xí)+物理?xiàng)l件約束

Φ-SO背后的技術(shù)被叫做“深度符號(hào)回歸”，使用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）+強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)。

首先將前一個(gè)符號(hào)和上下文信息輸入給RNN，預(yù)測(cè)出后一個(gè)符號(hào)的概率分布，重復(fù)此步驟，可以生成出大量表達(dá)式。

同時(shí)將物理?xiàng)l件作為先驗(yàn)知識(shí)納入學(xué)習(xí)過(guò)程中，避免AI搞出沒(méi)有實(shí)際含義的公式，可以大大減少搜索空間。

再引入強(qiáng)化學(xué)習(xí)，讓AI學(xué)會(huì)生成與原始數(shù)據(jù)擬合最好的公式。

與強(qiáng)化學(xué)習(xí)用來(lái)下棋、操控機(jī)器人等不同，在符號(hào)回歸任務(wù)上只需要關(guān)心如何找到最佳的那個(gè)公式，而不關(guān)心神經(jīng)網(wǎng)絡(luò)的平均表現(xiàn)。

于是強(qiáng)化學(xué)習(xí)的規(guī)則被設(shè)計(jì)成，只對(duì)找出前5%的候選公式做獎(jiǎng)勵(lì)，找出另外95%也不做懲罰，鼓勵(lì)模型充分探索搜索空間。

研究團(tuán)隊(duì)用阻尼諧振子解析表達(dá)式、愛(ài)因斯坦能量公式，牛頓的萬(wàn)有引力公式等經(jīng)典公式來(lái)做實(shí)驗(yàn)。

Φ-SO都能100%的從數(shù)據(jù)中還原這些公式，并且以上方法缺一不可。研究團(tuán)隊(duì)在最后表示，雖然算法本身還有一定改進(jìn)空間，不過(guò)他們的首要任務(wù)已經(jīng)改成用新工具去發(fā)現(xiàn)未知的物理規(guī)律去了。

讀到這，小編有一個(gè)不成熟的想法….

5. 擴(kuò)散模型大殺器 ControlNet 解析

原文：

https://mp.weixin.qq.com/s/_7su0EX-eBbeyV0V8o3cLg

標(biāo)題：Adding Conditional Control to Text-to-Image Diffusion Models

作者：Lvmin Zhang, Maneesh Agrawala

原文鏈接：

https://arxiv.org/pdf/2302.05543.pdf

代碼鏈接：

https://github.com/lllyasviel/ControlNet

大型文本到圖像模型的存在讓人們意識(shí)到人工智能的巨大潛力，這些模型可以通過(guò)用戶輸入簡(jiǎn)短的描述性提示來(lái)生成視覺(jué)上吸引人的圖像。然而，對(duì)于一些長(zhǎng)期存在、具有明確問(wèn)題表述的任務(wù)（例如圖像處理），我們可能會(huì)有一些問(wèn)題需要回答。這些問(wèn)題包括：這種基于提示的控制是否滿足我們的需求？在特定任務(wù)中，這些大型模型能否應(yīng)用于促進(jìn)這些特定任務(wù)？我們應(yīng)該建立什么樣的框架來(lái)處理廣泛的問(wèn)題條件和用戶控制？在特定任務(wù)中，大型模型能否保留從數(shù)十億張圖片中獲得的優(yōu)勢(shì)和能力？為了回答這些問(wèn)題，作者們調(diào)查了各種圖像處理應(yīng)用，并得出了三個(gè)發(fā)現(xiàn)。第一個(gè)發(fā)現(xiàn)是，在特定任務(wù)領(lǐng)域中可用的數(shù)據(jù)規(guī)模并不總是與通用圖像-文本領(lǐng)域中相同。第二個(gè)發(fā)現(xiàn)是，對(duì)于一些特定任務(wù)，需要更加精細(xì)的控制和指導(dǎo)，而不僅僅是簡(jiǎn)單的提示。第三個(gè)發(fā)現(xiàn)是，在特定任務(wù)中，大型模型可能會(huì)面臨過(guò)擬合和泛化能力不足等問(wèn)題。為了解決這些問(wèn)題，作者們提出了一種名為ControlNet的框架，該框架可以根據(jù)用戶提供的提示和控制來(lái)生成高質(zhì)量的圖像，并且可以在特定任務(wù)中進(jìn)行微調(diào)以提高性能。

與之相關(guān)的主要工作有HyperNetwork和Stable Diffusion。HyperNetwork是一種用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，它可以通過(guò)一個(gè)小型的神經(jīng)網(wǎng)絡(luò)來(lái)影響一個(gè)更大的神經(jīng)網(wǎng)絡(luò)的權(quán)重。HyperNetwork已經(jīng)在圖像生成等領(lǐng)域取得了成功，并且已經(jīng)有多篇相關(guān)論文發(fā)表。另外，Stable Diffusion是一種用于圖像生成和編輯的技術(shù)，它可以通過(guò)擴(kuò)散過(guò)程來(lái)生成高質(zhì)量、多樣化的圖像，并且可以通過(guò)附加小型神經(jīng)網(wǎng)絡(luò)來(lái)改變其藝術(shù)風(fēng)格。ControlNet和HyperNetwork之間的相似之處在于它們都可以影響神經(jīng)網(wǎng)絡(luò)的行為，從而實(shí)現(xiàn)特定任務(wù)的目標(biāo)。具體來(lái)說(shuō)，HyperNetwork使用一個(gè)小型的神經(jīng)網(wǎng)絡(luò)來(lái)影響一個(gè)更大的神經(jīng)網(wǎng)絡(luò)的權(quán)重，從而改變其行為。而ControlNet則是將大型圖像擴(kuò)散模型中的權(quán)重克隆到一個(gè)“可訓(xùn)練副本”和一個(gè)“鎖定副本”中，其中鎖定副本保留了從數(shù)十億張圖像中學(xué)習(xí)到的網(wǎng)絡(luò)能力，而可訓(xùn)練副本則在特定數(shù)據(jù)集上進(jìn)行訓(xùn)練以學(xué)習(xí)條件控制。此外，它們?cè)谟绊懮窠?jīng)網(wǎng)絡(luò)行為方面的共同點(diǎn)是它們都使用了小型神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)大型神經(jīng)網(wǎng)絡(luò)進(jìn)行控制。這種方法可以使得大型神經(jīng)網(wǎng)絡(luò)更加靈活和適應(yīng)性強(qiáng)，并且可以根據(jù)不同任務(wù)和條件進(jìn)行調(diào)整和優(yōu)化。ControlNet與其他相關(guān)工作之間的優(yōu)勢(shì)主要體現(xiàn)在以下幾個(gè)方面：

1. 控制方式不同：ControlNet通過(guò)控制神經(jīng)網(wǎng)絡(luò)中的輸入條件來(lái)影響其行為，而其他相關(guān)工作則可能采用不同的控制方式，例如直接修改權(quán)重或者使用外部約束等。

2. 可解釋性更強(qiáng)：ControlNet可以通過(guò)可視化輸入條件和輸出結(jié)果之間的關(guān)系來(lái)解釋其行為，從而更好地理解神經(jīng)網(wǎng)絡(luò)的內(nèi)部機(jī)制。這對(duì)于一些需要可解釋性的任務(wù)非常重要。

3. 適應(yīng)性更強(qiáng)：ControlNet可以根據(jù)不同任務(wù)和條件進(jìn)行調(diào)整和優(yōu)化，從而使得神經(jīng)網(wǎng)絡(luò)更加靈活和適應(yīng)性強(qiáng)。這對(duì)于一些復(fù)雜、多變的任務(wù)非常重要。

4. 訓(xùn)練效果更好：ControlNet可以通過(guò)使用鎖定副本來(lái)保留從數(shù)十億張圖像中學(xué)習(xí)到的網(wǎng)絡(luò)能力，并將其與可訓(xùn)練副本進(jìn)行結(jié)合來(lái)進(jìn)行訓(xùn)練。這種方法可以使得訓(xùn)練效果更好，并且可以避免過(guò)擬合等問(wèn)題。

我們盡量少用公式進(jìn)行表達(dá)，主要的技術(shù)細(xì)節(jié)和設(shè)定可以參考論文。ControlNet是一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，可以通過(guò)特定任務(wù)的條件來(lái)增強(qiáng)預(yù)訓(xùn)練的圖像擴(kuò)散模型。該方法包括幾個(gè)關(guān)鍵組件，包括預(yù)訓(xùn)練模型的“可訓(xùn)練副本”和“鎖定副本”，以及一組輸入條件，可以用來(lái)控制輸出。整個(gè)過(guò)程可以概括如下：

1. 克隆預(yù)訓(xùn)練模型：ControlNet首先創(chuàng)建了預(yù)訓(xùn)練圖像擴(kuò)散模型的兩個(gè)副本，其中一個(gè)是“鎖定”的，不能被修改，而另一個(gè)是“可訓(xùn)練”的，可以在特定任務(wù)上進(jìn)行微調(diào)。ControlNet使用了一種稱(chēng)為“權(quán)重共享”的技術(shù)，該技術(shù)可以將預(yù)訓(xùn)練模型的權(quán)重復(fù)制到兩個(gè)不同的神經(jīng)網(wǎng)絡(luò)中。這樣，在微調(diào)可訓(xùn)練副本時(shí)，鎖定副本仍然保留著從預(yù)訓(xùn)練中學(xué)到的通用知識(shí)，并且可以提供更好的初始狀態(tài)。需要注意的是，在克隆預(yù)訓(xùn)練模型之前，需要先選擇一個(gè)適合特定任務(wù)的預(yù)訓(xùn)練模型，并對(duì)其進(jìn)行必要的調(diào)整和優(yōu)化。這樣才能確?？寺〕鰜?lái)的模型能夠更好地適應(yīng)特定任務(wù)，并取得更好的效果。

2. 定義輸入條件：ControlNet然后定義了一組輸入條件，可以用來(lái)控制模型的輸出。這些條件可能包括顏色方案、對(duì)象類(lèi)別或其他特定任務(wù)參數(shù)。該技術(shù)可以將輸入條件與預(yù)訓(xùn)練模型進(jìn)行連接，并將其作為額外的輸入信息傳遞給神經(jīng)網(wǎng)絡(luò)。這樣，在微調(diào)可訓(xùn)練副本時(shí)，神經(jīng)網(wǎng)絡(luò)可以根據(jù)這些輸入條件來(lái)調(diào)整輸出結(jié)果，并更好地適應(yīng)特定任務(wù)。需要注意的是，在定義輸入條件之前，需要先確定哪些參數(shù)對(duì)于特定任務(wù)是最重要的，并選擇合適的方式來(lái)表示這些參數(shù)。例如，在圖像分類(lèi)任務(wù)中，可能需要考慮對(duì)象類(lèi)別、顏色和紋理等因素，并選擇合適的方式來(lái)表示它們。同時(shí)，還需要確保這些輸入條件能夠被有效地傳遞給神經(jīng)網(wǎng)絡(luò)，并且不會(huì)對(duì)模型性能產(chǎn)生負(fù)面影響。

3. 訓(xùn)練可訓(xùn)練副本：ControlNet然后使用反向傳播和其他標(biāo)準(zhǔn)訓(xùn)練技術(shù)，在特定數(shù)據(jù)集上對(duì)可訓(xùn)練副本進(jìn)行訓(xùn)練。很自然的就是一個(gè)標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程。訓(xùn)練可訓(xùn)練副本之前，需要先選擇一個(gè)適合特定任務(wù)的預(yù)訓(xùn)練模型，并將其克隆為可訓(xùn)練副本。同時(shí)還需要確定哪些輸入條件對(duì)于特定任務(wù)是最重要的，并將其與預(yù)訓(xùn)練模型進(jìn)行連接。

4. 合并輸出：最后，ControlNet將兩個(gè)模型副本的輸出組合起來(lái)，產(chǎn)生一個(gè)最終結(jié)果，既包含從預(yù)訓(xùn)練中學(xué)到的通用知識(shí)，也包含從微調(diào)中學(xué)到的特定知識(shí)。

這種方法自然是要看可視化展示的：

總的來(lái)說(shuō)，ControlNet是一種新穎的神經(jīng)網(wǎng)絡(luò)架構(gòu)，可以通過(guò)微調(diào)預(yù)訓(xùn)練模型來(lái)適應(yīng)特定任務(wù)，并在多個(gè)基準(zhǔn)數(shù)據(jù)集上取得了非常好的性能表現(xiàn)。該方法使用條件控制技術(shù)將輸入條件與預(yù)訓(xùn)練模型進(jìn)行連接，并將其作為額外的輸入信息傳遞給神經(jīng)網(wǎng)絡(luò)，從而幫助神經(jīng)網(wǎng)絡(luò)更好地理解輸入條件，并取得更好的效果。同時(shí)，ControlNet還探討了不同因素對(duì)其性能的影響，例如不同輸入條件、不同預(yù)訓(xùn)練模型和不同微調(diào)策略等。實(shí)驗(yàn)結(jié)果表明，在多個(gè)基準(zhǔn)數(shù)據(jù)集上，ControlNet都取得了非常好的性能表現(xiàn)，并且在圖像分類(lèi)、圖像生成和圖像檢索等任務(wù)中也有廣泛應(yīng)用。因此，我們相信ControlNet是一種非常有前景和實(shí)用價(jià)值的神經(jīng)網(wǎng)絡(luò)架構(gòu)，并且在未來(lái)會(huì)有更廣泛的應(yīng)用。

6. CVPR 2023｜EMA-VFI: 基于幀間注意力提取運(yùn)動(dòng)和外觀信息的高效視頻插幀

https://mp.weixin.qq.com/s/w7xCUBedykOmI9Bq6lQ4Ow

論文鏈接：

https://arxiv.org/abs/2303.00440

代碼鏈接：

https://github.com/MCG-NJU/EMA-VFI

1. 研究動(dòng)機(jī)

視頻插幀（Video Frame Interpolation, VFI）任務(wù)的目標(biāo)是給定連續(xù)的兩幀，生成這兩幀之間的固定時(shí)刻的幀或者任意時(shí)刻的幀。顧名思義，VFI最直接的用途就是用來(lái)提高幀率，經(jīng)常和視頻超分方法用來(lái)同時(shí)提升視頻的空間和時(shí)間上的分辨率。VFI和其他常見(jiàn)的視頻修復(fù)任務(wù)（如視頻超分、視頻去噪等）最大的不同就是VFI任務(wù)要生成原本不存在的幀，而其他視頻修復(fù)任務(wù)要修復(fù)一張?jiān)敬嬖诘膸?/strong>，這樣的不同也讓插幀任務(wù)的設(shè)計(jì)思路無(wú)法直接借鑒視頻復(fù)原方法的思路。

classIV6Detect(nn.Module):
dynamic=False#forcegridreconstruction
export=False#exportmode
shape=None
anchors=torch.empty(0)#init
strides=torch.empty(0)#init

def__init__(self,nc=80,ch=(),inplace=True):#detectionlayer
super().__init__()
self.nc=nc#numberofclasses
self.nl=len(ch)#numberofdetectionlayers
self.reg_max=16
self.no=nc+self.reg_max*4#numberofoutputsperanchor
self.inplace=inplace#useinplaceops(e.g.sliceassignment)
self.stride=torch.zeros(self.nl)#stridescomputedduringbuild

c2,c3=max(ch[0]//4,16),max(ch[0],self.no-4)#channels
self.cv2=nn.ModuleList(
nn.Sequential(Conv(x,c2,3),Conv(c2,c2,3),nn.Conv2d(c2,4*self.reg_max,1))forxinch)
self.cv3=nn.ModuleList(
nn.Sequential(Conv(x,c3,3),Conv(c3,c3,3),nn.Conv2d(c3,self.nc,1))forxinch)
#DFL層
self.dfl=DFL(self.reg_max)
#Implicit層
self.ia2=nn.ModuleList(ImplicitA(x)forxinch)
self.ia3=nn.ModuleList(ImplicitA(x)forxinch)
self.im2=nn.ModuleList(ImplicitM(4*self.reg_max)for_inch)
self.im3=nn.ModuleList(ImplicitM(self.nc)for_inch)

defforward(self,x):
shape=x[0].shape#BCHW
foriinrange(self.nl):
x[i]=torch.cat((self.im2[i](self.cv2[i](self.ia2[i](x[i]))),self.im3[i](self.cv3[i](self.ia3[i](x[i])))),1)
box,cls=torch.cat([xi.view(shape[0],self.no,-1)forxiinx],2).split((self.reg_max*4,self.nc),1)
ifself.training:
returnx,box,cls
elifself.dynamicorself.shape!=shape:
self.anchors,self.strides=(x.transpose(0,1)forxinmake_anchors(x,self.stride,0.5))
self.shape=shape

dbox=dist2bbox(self.dfl(box),self.anchors.unsqueeze(0),xywh=True,dim=1)*self.strides
y=torch.cat((dbox,cls.sigmoid()),1)
returnyifself.exportelse(y,(x,box,cls))

defbias_init(self):
m=self#self.model[-1]#Detect()module
fora,b,sinzip(m.cv2,m.cv3,m.stride):#from
a[-1].bias.data[:]=1.0#box
b[-1].bias.data[:m.nc]=math.log(5/m.nc/(640/s)**2)

classComputeLoss:
def__init__(self,model,use_dfl=True):
device=next(model.parameters()).device#getmodeldevice
h=model.hyp#hyperparameters

#Definecriteria
#分類(lèi)損失
BCEcls=nn.BCEWithLogitsLoss(pos_weight=torch.tensor([h["cls_pw"]],device=device),reduction='none')

#Classlabelsmoothinghttps://arxiv.org/pdf/1902.04103.pdfeqn3
self.cp,self.cn=smooth_BCE(eps=h.get("label_smoothing",0.0))#positive,negativeBCEtargets

#Focalloss
g=h["fl_gamma"]#focallossgamma
ifg>0:
BCEcls=FocalLoss(BCEcls,g)

m=de_parallel(model).model[-1]#Detect()module
self.balance={3:[4.0,1.0,0.4]}.get(m.nl,[4.0,1.0,0.25,0.06,0.02])#P3-P7
self.BCEcls=BCEcls
self.hyp=h
self.stride=m.stride#modelstrides
self.nc=m.nc#numberofclasses
self.nl=m.nl#numberoflayers
self.device=device
#正負(fù)樣本匹配
self.assigner=TaskAlignedAssigner(topk=int(os.getenv('YOLOM',10)),
num_classes=self.nc,
alpha=float(os.getenv('YOLOA',0.5)),
beta=float(os.getenv('YOLOB',6.0)))
#回歸損失函數(shù)
self.bbox_loss=BboxLoss(m.reg_max-1,use_dfl=use_dfl).to(device)
self.proj=torch.arange(m.reg_max).float().to(device)#/120.0
self.use_dfl=use_dfl