人工智慧的創新數位化館藏搜尋取用—以挪威國家博物館為例

8月 02, 2019
圖片來源:http://vy.nasjonalmuseet.no/?collection=painting_subject   

挪威國家博物館( Norwegian National Museum)以機器學習及深度類神經網路( machine learning and deep neural networks )演算法,在館藏的圖像資料加上中繼資料。其方式是以維基媒體( Wikimedia arts )的藝術資料庫進行圖像識別與演算模型訓練,然後套用到博物館典藏的數位影像資料庫。

挪威國家博物館最新的圖像查詢網頁介面如下,使用者一開始看到是一堆該博物館數位典藏的圖像散佈在網頁中,使用者可以自由縮放這些圖像,每個圖像的排列都是依據與其他高相似度的圖像放在一起。舉例來說,某張花朵圖像的附近都是主題為花朵或是職務的圖像,人物畫像地附近也是出現人物畫像。這樣的呈現方式,對使用者來說,看到的是相似主題的數位典藏,而非依照作者或依照編年的排列呈現。如果使用者對於某張圖樣特別有興趣,則可以點選該圖像,閱讀更細部的資料。


挪威國家博物館創新的圖像搜尋檢索工具:細部瀏覽 :http://vy.nasjonalmuseet.no/?collection=painting_subject

技術與概念亮點

一開始需要一個基本的演算法來分析現有的圖像,這時候先採用了加州大學柏克萊分校自動感知研究室(Autonomous Perception Research Lab),最新名稱是柏克萊人工智慧研究室Berkeley Artificial Intelligence Research Lab)以ImageNet資料庫發展的Caffe類神經網路演算法。然後挪威國家博物館研究團隊以WikiArt維基媒體藝術資料庫針對藝術運動的分類重新訓練模型,也用OpenFace臉部辨識資料庫[]重新實驗不同的結果。

此外,研究團隊更分析圖像中的物件組成、顏色和風格,其參數包括外型、臉部、年齡、性別、是否為該時期典型代表性或非代表性的作品等。



挪威國家博物館中關於浪漫時期地景照片的T分布隨機排列:http://bengler.no/blog/deep-learning-at-the-museum 

這個演算法辨識並標記挪威國家博物館現有館藏資料,並以非監督式機器學習模型 t-SNE algorithm (t-distributed stochastic neighbor embedding) 降低參數維度,重新計算產生統計模型。t-SNE演算法把多重維度的資料系統降低變成二維呈現方式,這把圖像依據其主題相似度、技法、畫面組成以及顏色的使用進行分類群組。此外,研究團隊也採用了數種不同的視覺化方法,像是2D與3D的t-SNE、群聚分析、使用魚眼工具重新視覺化圖像的統計鄰數(neighborhood)。 

沒有留言:

技術提供:Blogger.