友好連結

▼

2019年8月19日 星期一

透過科技提升藝術可親性: 以美國克利夫蘭藝術博物館為例






美國克利夫蘭藝術博物館（Cleveland Museum of Art, CMA）在2013年開發一面Gallery One 互動裝置牆，提高了31%的參觀人數和提高了29%的家庭觀眾，同時，獲得多項國際性獎。不過，即使獲得這些美譽，部分博物館專家、學者在參觀過這項裝置之後，提出了他們的擔憂，「美術館利用科技是否可以協助美術館達到藝術教育的目的？以及觀眾如何從中有效學習，而不僅僅將數位科技視為一種娛樂而已。」 這些擔憂不僅是專家們的聲音，同時也來自CMA的觀眾研究結果顯示觀眾使用Gallery One互動牆欣賞屏幕上的藝術品之後，並不能鼓勵他們繼續走入實體展場觀賞真實藝術品。

 即使結果不如館方與專家所願，但CMA在觀眾調查研究及不斷整合與改良已有的裝置的基礎上，於2017年推出最新的ArtLens Gallery，期望提供觀眾一個可以使用數位裝置與藝術品互動交流的場域，以符合創館 “For the benefit of all the people, forever.” 的宗旨。

 技術與概念亮點

 經過幾年的努力， 2017年的AryLens Gallery的互動體驗裝置的任務是讓觀眾無障礙地接觸藝術，更貼近藝術品，引發對其興趣，進而探索美術館的藏品。ArtLens Gallery 包含四個主要的互動裝置體驗區：ArtLens Exhibition, ArtLens Studio, ArtLens Wall, and ArtLens App。

 1. ArtLenes Exhibition
ArtLens Exhibition 提供16種互動遊戲，圍繞四個主題：幾何組合、象徵、手勢與情緒及目的，讓觀眾可以藉著遊戲了解藝術品的構圖技巧、象徵意義、手勢意涵與擺法，以及藝術家如何表達作品當中人物的情緒等等。以下介紹以目的(Purpose)為主題的互動裝置。


圖片來源：SlideShare

“Gaze Tracker” 獲得2018年美國博物館聯盟舉辦的媒體與科技繆思獎(Media &Technology MUSE Awards)。使用最新的眼動追踪技術(eye-tracking technology)，讓觀眾了解自己觀看藝術品第一關注的焦點，關注時間以及眼球被那些構圖與元素吸引。互動結束後，觀眾可以聆聽或閱讀藝術家的創作構圖、創意來源及解釋。這樣的追踪機制是希望讓觀眾審視與衡量自己如何觀賞藝術作品，以及如何調整自己的觀賞方式，甚至思考那些忽略不看的部分是否影響自己了解藝術品的內涵，從而可以進一步調整自己對藝術品的美學素養的培養。

Express Yourself” 運用臉部辨識系統(Facial recognition)了解觀眾對於藝術作品的反應，例如開心、驚訝、困惑、厭惡、恐懼或悲傷等，參觀者有30秒去表達所見藝術品的感受，隨後，可以檢視自己對藝術品的感受，以及其他人對於同件作品的感受如何。接著，選擇自己有興趣的作品，走進實際展場，更深入地欣賞自己所選的作品。

2. ArtLens Studio
ArtLens Studio主要是設計給一起來的全家人或朋友，提供一個協同學習工作場域。他們在參觀美術館時，可以通過運動及遊戲的方式和藝術品互動。這個場域主要設置兩座大型的4K互動影像牆 “Reveal” 和 “Zoom”，結合時差測距(Time of Flight, ToF)深度相機、自定函數C++軟體以及即時圖形來創造互動體驗。在“Reveal”體驗區，觀眾利用肢體的律動，將一件解析度不清楚的藝術品變得越來越清晰，進而看得清楚藝術品的內容；“Zoom” 則是把身體當作是放大鏡，當走近螢幕，會放大藝術品的每個細節，讓觀眾看到平常部會注意到的細節，也提供不同的觀看視角，帶來有趣的藝術互動的經驗。




3. ArtLens Wall
ArtLens Wall 是一座40英尺的多點觸控互動牆，讓觀眾可以選擇美術館常設展中的作品，選取自己想要觀看的作品，利用傳輸技術，將這些作品傳輸到自己的行動裝置，進而安排自己的參觀路線。每隔40秒，牆面就會旋轉所有內容，按照類型、主題、目的、形狀、顏色等幾十種分類方式顯示，這樣觀眾就可以看到藝術作品如何在不同的文化和時間段落內相互關聯。
圖片來源：slideshare

4. ArtLens App
這個應用程式包含互動地圖以及搭配智慧定位方式，讓觀眾輕易的找到自己在美術館的相對位置。同時也不斷提供高解析度的文物照片與訊息，並配有藍芽連結ArtLens Wall或數據庫的影像與內容，下載速度在45秒以內，更可以透過圖像辨識系統，掃描藝術品的QR Code取得更多作品的相關資訊。
圖片來源：slideshare



參考資料: 


SlideShare:https://www.slideshare.net/PhillipTiongson/removing-the-barriers-of-gallery-one-artlens-gallery-a-new-approach-to-integrating-art-interpretation-and-technology-at-the-cleveland-museum-of-art

於 沒有留言:

2019年8月13日 星期二

AI X音樂創作：OpenAI用於作曲的深度神經網路MuseNet


圖片來源：https://openai.com/blog/musenet/
現在人工智慧也會作曲了，OpenAI開發了深度神經網路MuseNet，可以用10種不同的樂器，結合鄉村、莫札特或是Lady Gaga等風格，製作長度四分鐘的音樂作品，OpenAI並沒有教MuseNet樂理或是編曲理論，而是讓人工智慧從數十萬個MIDI檔案中學習，探索合聲、節奏和風格等樂曲元素。

MuseNet使用通用用途的非監督式技術GPT-2，這是一種大規模的Transformer模型，經訓練之後可用來預測音訊或是文字的序列。OpenAI收集了多種音訊來源，作為MuseNet訓練資料，除了ClassicalArchives以及BitMidi兩個服務，貢獻的大量MIDI檔案之外，他們也在網路上收集了流行、非洲、印度、阿拉伯等風格的音樂，另外，還使用了MAESTRO資料集。

Transformer模型被要求給定一組音符之後，有能力預測接下來的音符，OpenAI經各種試驗，找到了最有表現力和簡潔的編碼方式，將音調、音量和樂器訊息組合成單一的令牌。在訓練的時候，OpenAI透過升高或是降低音調以置換音符，也藉由調高或是調低各種樣本的整體音量，以強化音量效果，在強化樂曲時間上的變化，則是透過加速與減慢音訊片段達成。

同時OpenAI還創建了一個批評者，在模型訓練期間，不停地詢問模型，檢視給定的樣本是來自真正的資料集，抑或是模型過去產生的結果，批評者會對樣本給出分數，當MuseNet在生成輸出的時候，會根據這個分數選擇樣本。OpenAI添加了數種嵌入（Embedding），讓模型能夠為樂曲加入更多樣的特徵，包括和弦或是音樂作品長短等變化。

OpenAI創造了作曲家以及樂器令牌，讓使用者方便地控制MuseNet樣本種類，在訓練的時候，這些作曲家以及樂器令牌會被加到每個樣本中，因此模型可以依據這些資訊預測音符，而在生成階段，模型會依據使用者指定的作曲家以及樂器，進行音符預測。由於MuseNet掌握許多不同的音樂風格，因此還可以用新穎的混合方法，融合不同的風格。

OpenAI將這個早期成果公開，使用者在簡單模式中，可以透過指定作曲家或是風格，以及一個著名的音樂作品作為開頭，程式便會接續創造出新的音樂作品，使用者能簡單地嘗試各種不同的音樂風格組合。

而在高級模式中，有更多的參數可以設定，也需要較長的生成時間，但是可以讓使用者靈活地產生更有創意的作品。OpenAI提醒，將差異過大的風格與樂器合在一起，像集合蕭邦風格與貝斯和鼓，會讓MuseNet產生意料之外的結果，選擇適合作曲家的樂器可以讓結果更自然些。



參考資料：
https://openai.com/blog/musenet/
https://news.developer.nvidia.com/openai-releases-musenet-ai-algorithm-that-can-generate-music/



於 沒有留言:

2019年8月2日 星期五

藝術X科技：世界上第一個「AI超現實的機器人藝術家」



機器人能有創意嗎？答案在很久以前可能是否定的，但現在，這個說法已成為現實，這款名叫Ai-Da是以英國數學家和計算機先驅Ada Lovelace命名的 —世界上第一個「AI超現實的機器人藝術家」

近日英國牛津大學 (University of Oxford)，於6月12日舉辦名為「Unsecured Futures」的作品展，展出由世界上的第一個類人型機器人畫家Ai-Da 所創作之展品。




影片中美貌的機器人藝術家Ai-Da正用附在機器人手臂上的鉛筆在勾勒出一幅草圖；在她的這些動作之中，她正運行著由大學的電腦科學家們所開發出來的運算法先做著複雜的運算後，去繪出每一筆精細的藝術畫作。而在她旁邊的牆上掛著一幅彩色的圖畫，就是根據她的電腦視覺數據所創造出來的。

Ai-Da是由英國的發明家兼藝廊經營者 Aidan Meller 所創造。她可透過眼球中的相機識別人類的特徵，並能與人進行目光接觸、跟隨人類走動等，甚至在人類靠她太近時表現出退縮或眨眼的吃驚的樣子，還可透過臉部辨識系統模仿人類的表情，並有交談和回答問題的能力。


這位被描述為「世界上首位超擬真 AI 人工智慧人型機器人藝術家」，在她的首度個展中，除了展示她的「個人創作」外，還展出與人類共同創作的繪畫及雕刻作品。作品展中展出 8 件手稿、20 幅畫作、4 件雕刻創作，以及 2 部影像作品。為世人帶來前所未見的藝術體驗。







參考資料：
Ai-Da, the humanoid robot artist, gears up for first solo exhibition 


Ai-Da: University of Oxford to host robot art exhibition 


AI robot Ai-Da presents her original artworks in University of Oxford exhibition 






於 沒有留言:

人工智慧的創新數位化館藏搜尋取用—以挪威國家博物館為例

圖片來源：http://vy.nasjonalmuseet.no/?collection=painting_subject   

挪威國家博物館（ Norwegian National Museum）以機器學習及深度類神經網路（ machine learning and deep neural networks ）演算法，在館藏的圖像資料加上中繼資料。其方式是以維基媒體( Wikimedia arts )的藝術資料庫進行圖像識別與演算模型訓練，然後套用到博物館典藏的數位影像資料庫。

挪威國家博物館最新的圖像查詢網頁介面如下，使用者一開始看到是一堆該博物館數位典藏的圖像散佈在網頁中，使用者可以自由縮放這些圖像，每個圖像的排列都是依據與其他高相似度的圖像放在一起。舉例來說，某張花朵圖像的附近都是主題為花朵或是職務的圖像，人物畫像地附近也是出現人物畫像。這樣的呈現方式，對使用者來說，看到的是相似主題的數位典藏，而非依照作者或依照編年的排列呈現。如果使用者對於某張圖樣特別有興趣，則可以點選該圖像，閱讀更細部的資料。


挪威國家博物館創新的圖像搜尋檢索工具：細部瀏覽 ：http://vy.nasjonalmuseet.no/?collection=painting_subject

技術與概念亮點

一開始需要一個基本的演算法來分析現有的圖像，這時候先採用了加州大學柏克萊分校自動感知研究室(Autonomous Perception Research Lab)，最新名稱是柏克萊人工智慧研究室Berkeley Artificial Intelligence Research Lab)以ImageNet資料庫發展的Caffe類神經網路演算法。然後挪威國家博物館研究團隊以WikiArt維基媒體藝術資料庫針對藝術運動的分類重新訓練模型，也用OpenFace臉部辨識資料庫[]重新實驗不同的結果。

此外，研究團隊更分析圖像中的物件組成、顏色和風格，其參數包括外型、臉部、年齡、性別、是否為該時期典型代表性或非代表性的作品等。



挪威國家博物館中關於浪漫時期地景照片的T分布隨機排列：http://bengler.no/blog/deep-learning-at-the-museum 

這個演算法辨識並標記挪威國家博物館現有館藏資料，並以非監督式機器學習模型 t-SNE algorithm (t-distributed stochastic neighbor embedding) 降低參數維度，重新計算產生統計模型。t-SNE演算法把多重維度的資料系統降低變成二維呈現方式，這把圖像依據其主題相似度、技法、畫面組成以及顏色的使用進行分類群組。此外，研究團隊也採用了數種不同的視覺化方法，像是2D與3D的t-SNE、群聚分析、使用魚眼工具重新視覺化圖像的統計鄰數(neighborhood)。 

於 沒有留言: