業界首個高質量原生3D組件生成模型來了！來自騰訊混元3D團隊。

現有的3D生成算法通常會生成一體化的3D模型，而下游應用通常需要語義可分解的3D形狀，即3D物體的每一個組件需要單獨地生成出來。

一般來說，組件式3D生成主要有2個應用場景：

1） 視頻游戲制作管線： 在游戲中， 很多資產是要根據語意信息將其綁定不同的游戲邏輯， 比如，汽車模型應該能夠被分解為主體和四個可滾動的輪子， 這樣輪子是可以單獨滾動起來的。所以組件拆分很重要。

與此同時，3D幾何生成的下游鏈路，包括低模拓撲，UV展開等模塊。這些模塊處理很復雜的幾何會變得困難，通過將復雜幾何進行拆分簡單的小組件，這種分而治之的策略，可以大大降低下游算法的處理難度。

2）3D打印： 這對3D打印行業也是不錯的消息， 用戶可以把組件一個一個打印出來然后再組裝，像搭積木一樣。

然而，現有的組件式3D生成方法通常缺乏足夠的可控性，生成部件的幾何質量不夠理想，并且語義連貫性有限。

對此，Hunyuan3D-Part提出了一種用于打造可投入生產，幾何質量高，可編輯，且結構合理的組件式3D生成新范式。

下面詳細來看。

技術流程介紹

如下圖所示，給定一張輸入圖片，團隊首先使用Hunyuan3D的基模型獲取整體形狀（可以是V2.5或者V3.0）。

然后，將整體Mesh傳遞給部件檢測模塊P3-SAM，以獲得語義特征和部件的邊界框（bounding boxes）。

最后，由X-Part將整體形狀分解為各個部件。

△圖1. Hunyuan3D-Part組件拆分整體流程

其技術亮點在于：

1）提出了業界首個原生3D分割模型P3-SAM， 利用大規模高質量3D數據訓練，擺脫對2D數據的依賴，大幅提高3D組件分割的精度和魯棒性。

2）提出了工業級組件生成模型X-Part，重新定義3D組件生成可控性和生成質量的天花板。

技術展開介紹

以下為P3-SAM和X-Part的詳細介紹。

原生3D分割模型P3-SAM

團隊提出了一種原生3D的分割模型，稱為Point-PromptablePartSegmentation，即P3-SAM。

該模型旨在實現對任意復雜三維物體的全自動分割，生成精確掩碼并具備極強的魯棒性。作為開創性的可提示圖像分割工作，SAM為實現這一目標提供了可行的方案。

然而，本方法聚焦于自動實現精確的組件分割，并對SAM的體系結構進行了簡化。團隊未采用SAM中復雜的分割解碼器和多類型提示，僅采用單一正點提示進行處理。

具體來說，如圖2所示，P3-SAM包含一個特征提取器、三個分割頭和一個IoU（交并比）預測頭。