91黑丝精品-91黑丝露脚-91黑丝美女-91黑丝免费-91黑丝视频-91黑丝网站-91黑丝无码-91黑丝在线-91黑丝自慰-91黑丝足交

        構建通用且泛化的操作策略一直是機器人領域的核心目標。傳統的機器人學習方法通常針對特定機器人和任務來開發模仿學習算法，例如ACT和Diffusion Policy，這些方法在特定場景中表現出色，但在泛化能力上較為有限。隨著機器人在開放、多任務環境中的應用增加，能夠適應不同任務和機器人構型的系統需求也在上升，這促使了通用模型的發展，如RT-2和OpenVLA等。這些模型通過大規模、異構的數據集提升跨域泛化能力，旨在將普遍知識融入到機器人控制中。

        雖然基于 VLA 的通用策略在不同場景中表現出很強的泛化性，但其仍存在一些局限：

RoboDual整體框架結構

        我們發現，在具身走向通用的路徑中，專用策略（Specialist Policy）低延遲、高精度、訓練高效的特點剛好可以彌補當前通用模型（Generalist Policy）的劣勢，于是團隊提出了RoboDual工作，將Generalist的泛化能力和Specialist的精準高效結合到一個協同工作框架中，不僅在操作時的精度更高、延遲更低，還具備更強的場景、指令的泛化能力，同時對于單個任務或場景的微調更加高效。

RoboDual模型框架

        RoboDual中的Generalist部分參考基于Prismatic-7B VLM的OpenVLA架構，以觀察的視頻幀與指令作為輸入，自回歸地生成action latents及相應的離散動作輸出，并將其傳到下游Specialist模型作為condition；Specialist部分采用可擴展的Diffusion Transformer (DiT)架構，接收多種傳感器（如RGB相機）輸入的同時，將Generalist的輸出作為參考，經過去噪得到未來幾步的連續動作。

        同時，由于Generalist與Specialist的輸出頻率不同，為保證較低的控制延遲，Generalist與Specialist實行異步控制（即Generalist輸出一步時，Specialist輸出多步），在較慢，但更魯棒的Generalist輸出指引下，實現順滑且靈巧的動作控制。在真機實驗中，我們采用NVIDIA RTX 5000 Ada GPU進行推理，RoboDual可以實現15Hz的控制頻率。

        在大量仿真（CALVIN）及真機的實驗發現，RoboDual均領先現有的Generalist和Specialist模仿學習方法，可以利用僅5%的數據實現任務和場景的高效適配。此外我們在真機實驗中還設計了眾多泛化場景，RoboDual在不失推理效率的同時實現了更優的泛化性能。

真機任務及泛化實驗

        通過將RoboDual與OpenVLA進行對比，可見RoboDual在同樣的泛化場景中保持了明顯更低的推理延遲。至此，RoboDual提供了一個讓通用操作大模型廣泛落地應用的解決方案。

真機推理效率對比（與OpenVLA）

        bbin寶盈機器人與上海人工智能實驗室共同研發的RoboDual系統，不僅提供了一個讓通用操作大模型廣泛落地應用的解決方案，更為機器人技術的未來發展指明了方向。隨著RoboDual系統的不斷完善和應用，我們希望它能為機器人操作領域帶來更高效、更精準、更智能的未來。