能夠看到過世老人栩栩如生的樣子令人感到很興奮,但也有些人對此感到恐怖。
雖然人人現在都用手機拍照,家家戶戶仍然會保有一本老相片冊,裡面裝著我們一家人一生中重要的照片。逢年過節回家翻閱這本相片冊,人們可能會驚訝低發現,自己原來和年輕時的爺爺、奶奶,甚至曾祖父祖母長得如此像——這正是基因的神奇之處。
就在最近,美國一家名叫 MyHeritage 的基因檢測公司,在深度學習演算法的幫助下,推出了一項全新的免費服務:用戶可以在它的網站上傳老照片,而演算法能夠將靜態的照片變成動態的短影片,讓照片中可能已經過失的祖先,變得栩栩如生。
使用方法也非常簡單,只是需要用戶在 MyHeritage 上註冊一個賬號,(14天免費試用,期間可以隨時取消),才可以上傳照片。上傳後只需要稍等10-20秒,照片「活化」的小影片就自動生成了。這項服務的名字叫做 Deep Nostalgia(深度懷舊)。顧名思義,它採用了深度學習技術,對照片中的人像進行追蹤和「活化」。

它的技術後台已經包括了一套十個預設「driver」,也即已經包含了一系列表情變化和動作的原始影片,再對用戶上傳的靜態照片套用這些預設的 driver,得到新的動態影片。那些在老照片裡不苟言笑的帥哥美女們,經過 Deep Nostalgia 的「復活」,變得栩栩如生。
Deep Nostalgia 其實有點像 iPhone 拍照的 Live Photos。這個功能能夠保存下用戶在按下快門前後一小段時間內的所有畫面,可以讓用戶在其中選擇最好看的一幀,也可以生成一段小影片。Deep Nostalgia 的效果也差不多,就像是記錄下了你的祖先當時在拍照的那一小段時間內的表情變化——雖然是假的,但你有這份心,相信祖先們也不會有意見的。
回到技術上,它的提供者是另一家公司 D-ID(全名De-IDentification)。根據介紹,這家公司非常擅長使用深度學習技術進行影片重演 (video reenactment)。
MyHeritage 用一張美國前總統林肯的黑白照片,加上基於機器學習的填色、表情動畫等技術做了一條廣告片,其背後的技術和 Deep Nostalgia 相同,即是由 D-ID 開發的:MyHeritage 還透露了關於 Deep Nostalgia 更多的技術細部。比如在「活化」照片之前,後台需要先將用戶上傳的照片進行增強,生成一張高清晰度的照片做底(而這本身就利用了相關的機器學習技術)。據該公司透露,增強照片能夠確保照片影片化的品質更高,效果更好。
此外由於技術的限制,如果你有一張家人團圓的大合照的話,Deep Nostalgia 每次只能指定其中的一張人臉,目前沒有辦法讓大家一起活在同一張照片裡,儘管稍有不足,MyHeritage 的後台還是有更多功能。在此之前,用戶已經可以在後台上傳一些黑白老照片,MyHeritage 可以自動給它們加上顏色:
而在新增的照片「活化」功能上,用戶也可以進一步選擇想要套用的 driver(表情組合)。可選的 driver 一共有10種,有的看起來很真實,有的則會因為人像的髮型/表情/面向等,效果會顯得有點假。當然,這畢竟是用深度學習技術驅動的技術,對它的要求也不用太高。
My Heritage 是一家美國的基因血檢公司,和大家可能更加熟悉的 23andMe 是同業公司,用戶只需要用該公司推出的簡易檢測包,提交自己的基因,即可查看自己的族裔人種構成,祖先在地球上的遷移路線,製作家譜,甚至還有可能尋找到失散的親人。可以說,My Heritage 幫助用戶讓老照片重煥新生,讓他們看到「活著」的祖先,也算是在自己的主營業務基礎上,錦上添花了。回到 Deep Nostalgia,它背後的 D-ID 公司在造臉這件事上確實能力很強,不過該公司也宣稱它開發的技術都是用於增強用戶隱私,確保符合監管。在此之前,D-ID的核心技術有兩款,一款是 Advanced facial blurring,也即對照片進行深度學習處理,讓普通人看起來毫無差別,卻無法讓人臉識別演算法破解。另一款叫做 Video anonymization。比如在一些紀錄片裡經常會出現匿名受訪者,面部需要被擋住,要加變聲器。而 D-ID 提供的技術可以直接給這些匿名受訪者換一張臉,能夠保留原本的面部表情,但完全認不出來。
在機器人技術和心理學的領域有一個著名的恐怖谷理論 (Uncanny Valley),指的是隨著機器人與人類在外表、動作上的相似程度越來越高,到了某個特定程度時,反而會令人感覺十分恐怖。機器人/生成的假人哪怕與真實人類有一丁點區別都會非常顯眼,令人有面對殭屍的感覺。

MyHeritage 也的確提到,有一部分用戶可能會對 Deep Nostalgia 生成的影片結果感到毛骨悚然,會不喜歡這樣的結果。「確實,生成的結果可能會有爭議。我們希望你能夠嘗試和分享這些功能,瞭解家人和朋友對於它的想法,」該公司在網站上寫道,「這個功能的設計目的時為了懷舊,讓我們深愛的祖先能夠『復活』。為了避免濫用(比如 deepfake),我們的 driver 也不包含任何語音部分功能。請僅在你自己的老照片上進行嘗試,不要未經允許使用其它生者的照片。」
最近幾天,類似的人臉活化和 DeepFake 技術確實引起了一些轟動,以及不小的爭議。2019年年初,俄羅斯程式員 Ali Aliev 在家無聊,決定用 DeepFake 把自己的臉換成伊隆馬斯克。他後來把這項技術做成了一個短影片應用 Avatarify,受到很多用戶(其中也包括很多名人)的歡迎。
2021年春節期間,開始有中國網友用 Avatarify 製作了一幫首富演唱洗腦神曲「Dragostea Din Tei」(就是「嘛咿呀嘿」那首歌)的 DeepFake 影片,在抖音、微博等社交平台上引發病毒傳播:
也是在最近,一位專業的湯姆克魯斯模仿者使用 DeepFake 技術製作的 TikTok 短影片在網路上引起熱議。這位模仿者的賬號名叫@deeptomcruise(現在已經被封),上面有不少他模仿克魯斯的影片。
專業人士在對比他的聲音,以及人臉表面錯誤的光照效果之後,能夠比較輕鬆地判定這是 DeepFake 的結果。不過這些影片在普通用戶的眼前,足以以假亂真。