FIND研究員：陳冠宇 
【技術觀測內容】
虛擬人(DIGITAL HUMANS)存在於數位世界中，結合電腦繪圖、數位建模、動作捕捉、人工智慧、語音合成等技術，簡單來說，就是在科幻電影所見的人造機器人數位化版本，在元宇宙中可以提高服務效率並降低成本。從長遠來看，虛擬人技術會是元宇宙重要的基礎建設之一。
NVIDIA創辦人黃仁勳在2021年4月春季GTC大會裡，在開場演講影片中暗藏14秒以他真實形象塑造的仿真人演說片段，成功的騙過大家的眼睛，又在年底秋季GTC上再度展示使用自己外觀建立的迷你版虛擬角色"Toy Jensen"，但這次是與專家對談艱深的氣候、人造衛星、醫療等議題，展現NVIDIA在對話式人工智慧與自然語言上的功力。
圖1 NVIDIA的虛擬人技術發展方向
資料來源：NVIDIA https://www.youtube.com/watch?v=Pev84SGO2r0&t=485s
NVIDIA將建立虛擬人的技術分為以下8個面向：
可視化(Vision)：建立Avator的技術，例如Omniverse Avatar。
語音(Speech)：語音技術包含自動語音識別 (ASR) ，讓虛擬人可以聽得懂我們說的話，和文字轉語音 (TTS)可發出聽起來非常自然的語音，NVIDIA Riva是開發及時語音AI的SDK，可使用GPU的並行處理算力。
表情(Face Animation)：技術讓虛擬人的語音與嘴型能對上，例如NVIDIA Audio2Face。
擬真圖像(Realistic Graphics)：NVIDIA Studio與Omniverse應用程式提供開發擬真的圖形的軟體，並支援GPU加速與光追效果。
對話(Conversation)：即時對話式人工智慧的 NVIDIA Maxine SDK，可以強化線上會議或是對話服務而發展的多種工具集，可以過濾背景環境噪音還原人聲、或是從多個人聲中分離出一個人的聲音，也能翻譯你講出的話並模擬你的聲音講出他國語言。另也有提供眼神校正功能，讓視訊會議中的人都注視著你，提升視訊會議的體驗。
規劃與行動(Planning & Action)：NVIDIA DRIVE 等技術提供自架車路線規劃與控制功能。
手勢動作(Gesture)：TAO Toolkit 具備專門的手勢辨識模型，能在NVAIDA NGC雲端服務上進行訓練，並在 NVIDIA Jetson 上部署模型。
肢體動作(Body Animation)：Omniverse Machinima應用程式提供開發更為真實的虛擬人臉部與肢體動作。TAO Toolkit 也內含BodyPoseNet可以分析影像中的多個人物的骨架肢體動作，不需要額外的感測器。
圖2: NVIDIA 平台架構
資料來源：https://seekingalpha.com/article/4518179-nvidia-stock-the-company-powering-technological-advancement
NVIDIA強調，在NVIDIA所建立的"One architecture"平台下，從開發工具到應用軟體，從資料中心到處理晶片一應俱全，不用再四處找尋工具或解決方案。平台部分包含以下三個平台：
NVIDIA HPC：使用NVIDIA GPU所搭建的高效能運算平台，可以利用多個運算節點的GPU進行平處理。可以有效且快速的執行應用程式。
NVIDIA AI：NVIDIA 人工智慧平台的作業系統。
NVIDIA Omniverse：提供創作者使用的應用軟體，可使用雲端的RTX運算資源，在輕量的筆記型電腦中執行。
【應用效益評析】
2021年底Facebook改名Meta掀起全球元宇宙旋風，一年後的今天來看元宇宙的發展不如預期般的美好，Meta自己也深陷市值下跌與裁員的麻煩中，但問題應該不在元宇宙的發展方向，而是現階段的體驗與我們的期待有些落差，所以現在正好是好好檢視問題並提升元宇宙基礎建設的時候。
目前普遍認為，元宇宙在AI、虛擬人等技術上都還有許多成長空間，而就在幾週前OpenAI發佈的免費機器人對話模型ChatGPT3.5，在短短一個周內就累積超過100萬用戶使用，其所開發的對話機器人在持續性對答能力讓人驚艷，也讓我們看到讓電腦學習舉一反三變成可能，激發出相關研究者無限的想像。
而從GPT到GPT3主要的差異之一就是參數數量與訓練數據的大幅增加，背後就是依靠強大的計算能力來支撐，而NVIDIA將過去只有高階實驗室才能提供的計算能力藉由雲端系統、邊緣雲系統或是可自行搭建GPU叢集運算平台，讓過去需要數百萬小時的計算時間降低到數十小時內可完成，尤其觀察近幾年AI運算能力的成長幅度甚至超越半導體發展的摩爾定律數10倍以上！所以現在看似遙遠的虛擬人技術在不久的將來絕對值得令人期待。
參考來源：
•封面圖來源 NVIDIA https://blogs.nvidia.com.tw/2021/11/10/nvidia-ceo-accelerated-computing-ai-omniverse-avatars-robots-gtc/
•NVIDIA Special Address at SIGGRAPH 2022 https://youtu.be/Pev84SGO2r0
•Ithome https://www.ithome.com.tw/news/150066
•GTC 2022 主題演講 https://www.nvidia.com/zh-tw/gtc/keynote/
•2021年GTC主題演講 https://blogs.nvidia.com.tw/2021/11/10/nvidia-ceo-accelerated-computing-ai-omniverse-avatars-robots-gtc/
•NVIDIA RIVA https://www.nvidia.com/zh-tw/ai-data-science/products/riva/
•NVIDIA MAXINE https://developer.nvidia.com/maxine
•NVIDIA TAO Toolkit https://developer.nvidia.com/tao-toolkit
•Seekingalpha：The Company Powering Technological Advancement https://seekingalpha.com/article/4518179-nvidia-stock-the-company-powering-technological-advancement
沒有留言:
張貼留言