一、Cutie是什么？

Cutie 是一個(gè)由 Ho Kei Cheng、Seoung Wug Oh、Brian Price、Joon-Young Lee 和 Alexander Schwing 開發(fā)的視頻對(duì)象分割（VOS）框架，旨在通過對(duì)象級(jí)別的內(nèi)存讀取提高視頻對(duì)象分割的效果和效率。該項(xiàng)目的核心思想是利用高級(jí)別的對(duì)象查詢來改進(jìn)視頻中目標(biāo)對(duì)象的表示和分割，與傳統(tǒng)的基于像素級(jí)別的內(nèi)存讀取方法相比，Cutie 在處理分散因素時(shí)表現(xiàn)出更好的魯棒性和準(zhǔn)確性。

Cutie 項(xiàng)目的亮點(diǎn)在于它采用了一種稱為 query-based object transformer 的技術(shù)，這種技術(shù)通過對(duì)象查詢對(duì)高分辨率的像素特征圖進(jìn)行迭代重構(gòu)和交互，以此實(shí)現(xiàn)準(zhǔn)確的視頻對(duì)象分割。該框架還包括了一個(gè)前景-背景掩模注意力機(jī)制，使得前景對(duì)象與背景的語義得到了清晰的分離。在挑戰(zhàn)性較高的 MOSE 數(shù)據(jù)集上，Cutie 相比前作 XMem 在 J&F 指標(biāo)上提高了 8.7 個(gè)百分點(diǎn)，同時(shí)保持了類似的運(yùn)行時(shí)間 。

二、Cutie的網(wǎng)站地址：

1、GIthub開源：

https://github.com/hkchengrex/Cutie

三、Cutie的技術(shù)原理：

我們提出了 Cutie，一種具有對(duì)象級(jí)內(nèi)存讀取功能的視頻對(duì)象分割（VOS）網(wǎng)絡(luò)，它將內(nèi)存中的對(duì)象表示放回到視頻對(duì)象分割結(jié)果中。最近關(guān)于 VOS 的工作采用了自下而上的像素級(jí)內(nèi)存讀取，這種方法由于匹配噪聲而陷入困境，尤其是在存在干擾因素的情況下，導(dǎo)致在更具挑戰(zhàn)性的數(shù)據(jù)中性能較低。相比之下，Cutie 通過調(diào)整一小組對(duì)象查詢來執(zhí)行自上而下的對(duì)象級(jí)內(nèi)存讀取，以便通過基于查詢的對(duì)象變換器 （qt ，因此Cutie）迭代地與自下而上的像素特征進(jìn)行重構(gòu)和交互。對(duì)象查詢充當(dāng)目標(biāo)對(duì)象的高級(jí)摘要，同時(shí)保留高分辨率特征圖以進(jìn)行準(zhǔn)確分割。與前景-背景屏蔽注意力一起，Cutie 干凈地將前景對(duì)象的語義與背景分開。在具有挑戰(zhàn)性的 MOSE 數(shù)據(jù)集上，Cutie 在運(yùn)行時(shí)間相似的情況下比 XMem 提高了 8.7 J&F，在運(yùn)行速度是 DeAOT 的三倍的情況下比 DeAOT 提高了 4.2 J&F。

1.初識(shí)目標(biāo)：在視頻的第一幀（就是視頻的第一張圖片）里，Cutie 首先找到你想跟蹤的物體，并記住它的位置和形狀。

2.記憶特點(diǎn)：找到物體后，Cutie 不僅記住了物體的大致輪廓，還會(huì)存儲(chǔ)物體的詳細(xì)像素信息。這就像是給物體拍了一張身份證照。

3.新幀識(shí)別：當(dāng)視頻繼續(xù)播放，出現(xiàn)新的畫面（或稱為“幀”）時(shí)，Cutie 會(huì)用之前記住的“粗略特征”來快速找到物體。

4.精確定位：找到大致位置后，Cutie 再用之前存儲(chǔ)的“詳細(xì)信息”來精確確認(rèn)物體的位置和形狀。

5.快速準(zhǔn)確：因?yàn)镃utie 同時(shí)使用了粗略特征和詳細(xì)信息，所以它能在視頻中非?？焖俣鴾?zhǔn)確地找到并跟蹤物體。

這樣，無論視頻里的物體如何移動(dòng)或變化，Cutie 都能準(zhǔn)確地“鎖定”它。這在很多場合都非常有用，比如在安全監(jiān)控、自動(dòng)駕駛車輛或者醫(yī)學(xué)研究中。

 四、整合包

此程序?yàn)殚_源項(xiàng)目，本程序由圈圈整合修改升級(jí)，【解壓即用】、【無需登錄】、【無限使用】、【不限次數(shù)】、【離線運(yùn)行】。軟件只要下載到您手上，就可以永久使用。