NVIDIA 2024 GTC AI 大會於當地時間3月18至21日舉行，陸續展示了許多新產品、新平台及新計劃，而研究團隊在21日公布了其最新的文字轉3D研究成果「LATTE3D模型」。
NVIDIA的人工智慧研究副總裁Sanja Fidler表示，文字轉3D模型在一年前還需要花費一個小時，而目前的最先進水準大約是花費10到12秒。
而NVIDIA人工智慧實驗室的團隊最新推出的LATTE3D模型，可以在1秒鐘內生成文字轉3D結果，這項進步意味著LATTE3D在單一GPU（例如用於 NVIDIA研究演示的NVIDIA RTX A6000）上運行推理時，可以幾乎立即產生3D形狀，讓創作者無需從頭開始設計或梳理3D資源庫，而是透過使用LATTE3D，在想法突然湧現時能立即產生物件。
而在產生3D物件並由使用者選定後，還可以在幾分鐘時間內產生更精細的物件。
LATTE3D模型根據每個文字提示產生一些不同的3D形狀選項，為創建者提供選項，並可以在幾分鐘內優化選定的物件，以獲得更高的品質。
接著，使用者可以將形狀匯出到圖形軟體應用程式或平台（例如NVIDIA Omniverse），從而支援基於通用場景描述（OpenUSD）的3D工作流程和應用程式。
LATTE3D模型使用NVIDIA A100 Tensor Core GPU進行模型訓練，除了3D形狀之外，該模型還接受了使用ChatGPT生成的各種文本提示訓練，藉此提高模型處理用戶可能想出的描述特定3D物件的各種自然語言能力，像是理解具有各種犬類物種的提示，都應該產生狗的形狀。
（以上圖片取自NVIDIA Blog）
Leave a Reply