|
hi，大家好~我是shadow，一枚設(shè)計師/全棧工程師/算法研究員，目前主要研究方向是人工智能寫作和人工智能設(shè)計，當(dāng)然偶爾也會跨界到人工智能藝術(shù)及其他各種AI產(chǎn)品。 前端開發(fā)有哪些新的智能化趨勢呢？今天重點整理tensorflow.js相關(guān)的內(nèi)容。有非常多的基于tensorflow.js二次封裝的js庫，比如face-api.js、ml5.js等等。應(yīng)用場景方面，發(fā)現(xiàn)圖像方面的應(yīng)用比較多，文本反而少，可能大家還不知道tensorflowjs有哪些文字場景吧。詳細(xì)請往下翻看：歡迎有興趣的朋友添加我（文末有福利），進(jìn)一步交流哈~TensorFlow.js 是一個 JavaScript 庫，用于在瀏覽器和 Node.js 訓(xùn)練和部署機(jī)器學(xué)習(xí)模型。- face-api.jsFace-api.js是一個JavaScript API，是基于tensorflow.js核心API的人臉檢測和人臉識別的瀏覽器實現(xiàn)。前端人臉識別相關(guān)的應(yīng)用，推薦用face-api.js~
- ml5.jsml5.js旨在為創(chuàng)意編程提供開箱即用的機(jī)器學(xué)習(xí)算法。該庫封裝了常用的機(jī)器學(xué)習(xí)算法和預(yù)訓(xùn)練模型，基于TensorFlow.js，可單獨使用，也可搭配p5.js使用。圖像
imageClassifier 用于識別圖像內(nèi)容，可用于圖像與文字的匹配 poseNet 用于識別人體姿勢的關(guān)鍵點，可用于動作識別 bodyPix、UNET 用于人體與背景分割，可用于自動摳圖 styleTransfer 風(fēng)格遷移，可用于圖片藝術(shù)濾鏡 pix2pix、CVAE、DCGAN 圖像生成，可用于手繪圖生成實景圖、根據(jù)文本生成圖像 SketchRNN 圖像生成的另一種方式，可用于基于初始筆畫生成圖案 YOLO 物體檢測，可用于追蹤物體 聲音 
soundClassifier 音頻分類，可用于語音控制 pitchDetection 音調(diào)檢測，可用于說話人識別 文本 
CharRNN 文本生成，可用于輸入法聯(lián)想 Sentiment 情緒預(yù)測，可用于文本的情感判斷 Word2vec 詞轉(zhuǎn)向量，可用于把文本轉(zhuǎn)化為向量，在向量空間中進(jìn)行計算 ----- 輔助功能 
featureExtractor 圖像特征提取，可用于以圖搜圖、遷移學(xué)習(xí) KNNClassifier K-Nearest Neighbors算法創(chuàng)建分類器，可用于圖像分類 17個功能建議一個個進(jìn)行嘗試，練習(xí)，掌握。 - magenta.js- 音樂創(chuàng)作工具 magenta.js是一個基于TensorFlow.js構(gòu)建的，在瀏覽器中使用WebGL加速運行的，用于通過Magenta模型生成音樂和藝術(shù)的JS框架。包括MusicVAE，MelodyRNN，DrumsRNN和ImprovRNN。不滿足于代碼庫，最近，還推出了Magenta Studio (v1.0)一個音樂作曲工具軟件包。Magenta Studio is a collection of music plugins built on Magenta’s open source tools and models. They use cutting-edge machine learning techniques for music generation. 這會，音樂創(chuàng)作可以AI人機(jī)協(xié)作了~~以上是相關(guān)的前端AI庫~接下來再介紹一些相關(guān)的技術(shù)。
- BodyPixBodyPix是谷歌發(fā)布人體圖像分割工具，可直接在瀏覽器中運行，僅需使用幾行代碼即可調(diào)用。BodyPix能將圖像像素分割為屬于人的和不屬于人的部分，屬于人的部分則可以進(jìn)一步分類為24個身體部位之一。試驗了下，BodyPix可以在15寸MacBook Pro上以25 fps的速度運行，渲染人和身體部位的分割，而在iPhone X上，BodyPix能以21 fps的速度運行，還不錯。除了tensorflow.js的封裝，我們還可以使用mljs，更為簡便的使用bodypix。我嘗試?yán)霉雀璧腷odyPix，DIY了一個fastmask功能。
- MobileNetEfficient Convolutional Neural Networks for Mobile Vision ApplicationsMobileNet是一個輕量化的神經(jīng)網(wǎng)絡(luò)模型，它極大地壓縮模型文件大小，非常適合移動端使用。可以識別生活中常見的大部分物品。在前端的應(yīng)用主要是搭配遷移學(xué)習(xí)，利用預(yù)訓(xùn)練好的MobileNet,為用戶訓(xùn)練新的圖像提供支持。
下面案例是使用預(yù)訓(xùn)練的MobileNet模型專門用來識別美洲駝…除此之外，我們還可以，訓(xùn)練一個簡單的分類器來對花朵圖像進(jìn)行分類；訓(xùn)練一個沒有感情的“剪刀石頭布”識別器；或者是用來訓(xùn)練一個方向控制器控制游戲里的角色。通過瀏覽器加載預(yù)訓(xùn)練的MobileNet模型，用戶可以為上、下、左、右4個方向分別設(shè)置不同的類別，只需使用瀏覽器調(diào)用電腦的攝像頭拍攝若干的照片，即可訓(xùn)練用戶自己的模型。
|
