【原】如何快速找到冰墩墩的兄弟姐妹？？？

Mixlab交叉學科 2022-02-12

展開全文

體驗地址見文末

opus

查找和#冰墩墩相似圖片，這種應用是如何實現(xiàn)的？？

首先，我們需要了解圖像搜索引擎所采用的AI是哪一類型的。

shadow

圖像搜索屬于認知類的AI應用，具備高準確率。此類技術由于深度學習的飛躍式發(fā)展，準確率已經(jīng)超越了人類。

認知類的AI有許多應用：內(nèi)容定位（音樂搜索、圖像搜索）、人臉識別（不怕臉盲）、文本-語音轉換、機器翻譯（不用查字典）等等。

此類應用彌補了人類在認知能力上的能力不足（缺陷）。因為沒有人可以在海量，比如1TB或者1PB的數(shù)據(jù)中找到自己想要的數(shù)據(jù)。人類查看一條條數(shù)據(jù)，當數(shù)據(jù)量成千上萬的時候，效率開始低下；反而機器，不會疲勞，而且計算速度非?？?，可以短時間閱讀海量數(shù)據(jù)，找到自己需要的數(shù)據(jù)。

拓展閱讀：普林斯頓大學Arvind Narayanan發(fā)表的一個關于AI應用的演講ppt

《How to recognize AI snake oil》

# 體驗設計

確實，從海量的數(shù)據(jù)中找尋到用戶想找的數(shù)據(jù)，此類應用已經(jīng)具備了較高的準確率；但是仍然有一些設計上的問題需要解決，我們?nèi)绾螏椭脩舭严胝业臄?shù)據(jù)的模樣描述清楚，清楚到機器可以準確理解。需要體驗設計師好好思考這個問題，粗暴的解決方案就是通過表單的方式，把各種選項讓用戶填寫，盡量是通過選擇題的方式（但這并不是一個優(yōu)雅、簡潔的方案）。

如何把用戶的需求轉化為機器語言，這是體驗設計需要重點考慮的問題。

# 反向圖像搜索

Reverse Image Search

反向圖像搜索允許用戶在互聯(lián)網(wǎng)上找到最相似的圖片?？梢园磮D片、關鍵字或圖片的 URL 進行搜索，常用來尋找現(xiàn)有圖片的原始出處，或者低分辨率縮略圖的原始大圖，或者是查找來源。

Reverse image search allows you to find the most similar pictures over the internet. You can search by image, by keyword, or by the URL of the picture to find photos, memes, profile pictures, and wallpapers along with their sources.

包括我們常說的以圖搜圖（比較優(yōu)雅的名稱叫可視化搜索） 讓你能夠使用圖像替代文本在 Web 中搜索。你可以使用圖像查找相同的圖像及產(chǎn)品、查看其他網(wǎng)站，甚至還可以獲取食譜。

以圖搜圖有這些應用：電商搜同款、圖片搜索、安防監(jiān)控、藥物檢索、盜版檢測、紡織面料、視頻摘要、藝術創(chuàng)作……

# 案例/靈感

下面分享幾個案例和靈感：

[ 這是什么動畫 ]

一個用于通過動畫截圖找出處的搜索引擎?？梢哉业礁鷦赢嫿貓D相似的動畫片截圖，并找到動畫的詳細介紹，動漫愛好者找動畫出處的好幫手！

作者在遇到 LIRE 的12個小時后就開發(fā)出了第一個原型。在設置好 Web 服務器和 Solr 之后，只需要編寫幾個腳本來將所有代碼放在一起。為了分析視頻，作者使用 ffmpeg 將每個幀作為 jpg 文件提取，每幀的時間作為文件名。然后利用 Lire 的 ParallelSolrIndexer 分析所有這些圖像并生成一個 XML 文件。在將此 XML 加載到 Solr 。最后，作者寫了幾行簡單的 Javascript 來使用 Solr REST API 用于搜索圖像。

Lire 是 java 語言基于 lucene 的框架，支持使用 Solr ，而 Solr 是一個高性能，采用 Java5 開發(fā)，基于 Lucene 的全文搜索服務器。Solr 有相關的 NodeJS 庫，對于 NodeJS 開發(fā)者也是非常友好的。

創(chuàng)建以圖搜圖引擎的步驟相當簡單，基于 opencv 的一些傳統(tǒng)圖像算法，提取顏色和紋理特征，例如圖像的顏色、輪廓、直方圖等信息，作為相似性搜索的索引。Lire 還內(nèi)置了中文分詞&模糊搜索功能，比起傳統(tǒng)的基于關鍵詞搜索，搜索效果更佳。

LIRE于2021.4.23 宣布停止維護更新

- End of Life reached for LIRE .This project is no longer maintained. I want to thank all those who helped, found kind words of support, and cited LIRE in their academic work. dermotte/LIRE: Open source library for content based image retrieval / visual information retrieval. (github.com)

[ EagleEye ]

跟蹤你的朋友。使用圖像識別和反向圖像搜索查找他們的Instagram，F(xiàn)B和Twitter個人資料。

至少需要一張您要找的人的圖像以及有關其姓名的線索。將這些數(shù)據(jù)輸入EagleEye，它會嘗試查找此人的Instagram，Youtube，F(xiàn)acebook和Twitter的個人資料，通過人臉比對，定位出你所需要尋找的目標人物。

[ image-match開源項目 ]

圖像匹配很簡單，代碼的實現(xiàn)基于論文 An image signature for any kind of image, Wong et al. reference implementation。

用于從庫中查找近似圖像的包。它與pHash類似，可以輕松擴展到數(shù)十億張圖像。

PLEASE NOTE:該算法旨在發(fā)現(xiàn)幾乎重復的圖像——比如版權侵犯檢測。它的目的不是尋找概念上相似的圖像。

[ shutterstock ]

美股上市公司 Shutterstock 作為全球第一大微利圖庫公司，是全球最大的以會員訂閱模式下載圖片的圖庫公司，目前公司市值16.49億美元！

Shutterstock 四項創(chuàng)新功能：

細化搜索，然后選中最佳結果。計算機視覺技術將發(fā)現(xiàn)具有相同外觀和感覺的圖片。
Shutterstock Reveal任選一張網(wǎng)絡圖片，Chrome 擴展會從收藏中精心挑選出與之相符的圖片 - 不僅免版稅，而且隨時可供您使用。
組合搜索您的圖片需要一個特定的布局嗎？將關鍵字添加到畫布，并放置在您希望對象顯示的位置。
復制空間想要在圖片上添加文本？使用此新功能找到，帶有恰好復制空間的圖片。