影片裡的動作，搬到一隻非人形怪物身上：這套開源管線，在 V2EX 被圍觀

2026 年 10 月 22 日，V2EX 分享創造節區出現一篇標題很長但每個詞都算數的貼文：作者 bugyaluwang 開源了一套從生圖到骨骼動畫的全自動流程，能把一段普通影片裡的動作，還原到一隻非人形的 3D 怪物模型上。一天左右累積七百多次瀏覽、七則回覆，規模不大，但內容密度在近期的創作分享裡相當突出。

先把流程攤開來看

作者自述這套管線的起點，是先前用 Astra 建模踩坑時留下的疑問：3D 資產與動畫生成，有沒有辦法整條鏈自動跑完。這次貼文就是他的答案，步驟大致是：

• 用 OpenAI 產出概念效果圖，交給 Tripo3D 生成基礎 3D 模型
• 用 TokenRig 對非人形結構做自動綁骨與蒙皮
• 在 Blender 裡以雙視角與隨機姿勢，自動渲染出三千個動作樣本當訓練集
• 基於 Meta 的 DINOv2 微調一個視覺小模型，輸入渲染圖與關節座標標註
• 用 MiniMax H3 生成目標動作影片，再讓小模型逐幀推論關節座標與深度
• 最後把這些空間資料解算回模型，把 2D 影片重建成 3D 骨骼動畫

作者特別標註了兩個環節最關鍵：合成訓練集與動畫重建。他也明說核心思路來自另一位網友 CanItCode 的影片，這種把出處講清楚的習慣，在開源分享裡始終加分。訓練與推論程式碼已放上 GitHub（GrinZero/open-game-studio 的 monster package），算力則靠 Gemini Ultra 附贈的 Colab 額度撐完整套訓練與渲染。

為什麼「合成資料」這步是整件事的聰明處

非人形角色的動作捕捉，一直是個現實難題。市面上現成的動作資料集，幾乎都以人形骨架為主，一隻多足怪物該怎麼標關節、去哪裡找足夠的標註樣本，沒有現成答案。

這位作者的解法是幹脆不找，直接在 Blender 裡自己造：讓模型隨機擺姿勢、雙視角渲染三千張圖，連同關節座標一起當訓練資料，再拿去微調 DINOv2。等於是為這一隻怪物量身打造一個專屬的關節辨識模型，繞過了真實資料稀缺的硬傷。

最終效果作者自己的說法是「勉強可用」，動作大形已經沒問題，細節還會抖。下一步他打算接入 DeepSeek 的 V4.1 Flash 1017，配合同座標疊圖與逐幀評分工具做修正去抖。這與我們先前整理過的DeepSeek V4.1 Flash 評估問答可以對著看：便宜快速的模型，正在被拿去塞進各種逐幀、逐段的流水線裡當審核工。

留言區的技術交鋒，比貼文本身還熱鬧

第一則回覆來自網友 panghu960，他自稱也長期在做 AI 輔助影視分鏈（作品 SpaceSkills，並主動聲明自己是開發者），給出了兩條相當具體的建議。

其一是抖動問題。他指出逐幀預測最大的坑是幀間微小位移累計成的關節高頻抖顫，即使小模型單幀指標很高，映到骨骼鏈上仍會明顯抖。他的建議是在關節座標與最終解算之間加一層輕量濾波，例如 1Euro Filter 或卡爾曼濾波，對高動態關節保響應、慢速關節強平滑，比讓多模態大模型逐幀糾錯更輕量穩定。

其二是工程取捨。用大模型做逐幀視覺評分在長鏡頭下 token 消耗會迅速膨脹，他建議改用「關鍵幀加異常閾值觸發」：只有變化率超標、或骨骼出現自穿插的幀才送去大模型判斷，其餘過渡幀直接插值帶過。

不過這則高品質長回覆，隨後被另一位網友 GPLer 質疑是 AI 生成的回覆，並說翻了他的歷史回覆都是類似風格。panghu960 本人和其他網友則認為內容確實扎實。真 AI 還是假 AI，貼文裡沒有定論，這場小爭執本身倒成了另類看點：當回覆寫得太工整、建議給得太具體時，圍觀羣眾的第一反應已經是先查你是不是機器。

圍觀之後

這類「一個人把整條管線跑通然後開源」的分享，在 V2EX 一直有固定受眾，與先前用 Claude Code 拼出一款 2D MMORPG 那篇展示文屬於同一光譜：工具都是現成的，價值在於有人願意把所有環節串起來、踩完坑、再把程式碼公開。差別在於這次的主角不是遊戲本身，而是那條能把任何影片動作搬到任何怪物身上的流水線。

至於去抖的最終效果會如何，作者說了期待完全達到預期，倉庫開著，有興趣的人可以自己跑一遍再回來評分。