Rokoko Coil Pro

Admin Mocap, ข่าวสาร
Rokoko Coil Pro

โรโคโค่ ได้มีการเปิดตัวอุปกรณ์เสริมตัวใหม่ Coil Pro เอามาเพิ่มประสิทธิภาพการทำงาน ชุดโมชั่นแคปเจอร์ในปัจจุบันที่มีปัญหาต้องมา Edit ไฟล์หลังการทำการแสดงแล้ว ปัญหาดังกล่าวคือ Occlusion แปลเป็นไทยว่า อุปสรรค์ ปัญหาบังมุมกล้อง และ Drift ปัญหาเคลื่อน Software ไม่รู้ว่าเราเดินอยู่กับที่หรือเดินไปข้างหน้ากันแน่ (ทั้งคู่มีท่าเดินที่เหมื่อนกัน)

Coil Pro จะทำงานโดยใช้หลักการปล่อยแม่เหล็กไฟฟ้า Electromagnetic Filed (EMF) รัศมีประมาณ 5เมตรจากตัวเครื่อง ตัวเซนเซอร์จะทราบตำแหน่งของผู้แสดงในระยะนี้ ทำให้สามารถทำงานร่วมกับ พร็อพต่างๆได้เช่น ดาบ ปืน บันได กระโดดขึ้นโต๊ะ เตะต่อยกัน เหมาะกับการใช้งานของผู้สวมใส่หลายคน เพื่อความสมจริงมากยิ่งขึ้น แต่หากคนใช้ชุด Smart Suit Pro II อยู่นอกพื้นที่ 5เมตร เครื่องจะกลับไปใช้ระบบ (IMU) ของตัวชุดเองแทน

ปัจจุบัน MoCap ที่นิยมมากที่สุดมีอยู่สองแบบคือ Optical MoCap และ Senson MoCap แบบแรกจะเห็นบ่อยและเป็นระบบที่ใช้กันมาอย่างยาวนานแล้ว Optical จะต้องติด Marker ที่ตัวนักแสดง จะมีกล้องอยู่หลายตัว เพื่อให้เก็บมุมภาพได้หลายมุม Sensor จะเป็นระบบที่ใหม่กว่า ให้เซนเซอร์แม่เหล็ก ไจโร ในการบอกตำแหน่งการเคลื่อนไหว แต่ทั้งสองแบบก็ยังมีจุดอ่อนอยู่คือการเกิด Occlusion และ Drift ตามลำดับ

Occlusion คืออะไร

เหตุการ Occlusion จะเกิดขึ้นกับการใช้งาน MoCap แบบ Optical คือใช้ Marker และ กล้องถ่ายภาพจับการเครื่องไหวของ Marker Occlusion แปรตรงตัวคือ Obstrucal หรืออุปสรรค์ การบังมุมกล้อง ทำให้กล้องไม่สามารถเห็น Marker นึกภาพนักแสดงคนหนึ่งบังนักแสดงอีกคน เมื่อกล้องจับ Marker ไม่ได้ ก็ต้องใช้กล้องมากขึ้น หรือ คน Clean ไฟล์ก็งานเข้าต้องแก้ไขกับเป็นวัน

ตย. เนื่อง Mocap แบบ Optical มีปัญหา Occlusion มุมอับสายตา จึงต้องติดตั้งกล้องไว้หลายตัวมากๆ รอบตัวนักแสดง ทำให้มีค่าใช้จ่ายเยอะและใช้เวลาในการประมวลผลนาน

 

Drift คืออะไร

Drift เป็นอาการที่เกิดกับระบบ Sensor MoCap คือ Software ไม่รู้ว่าเราเดินอยู่กับที่หรือเดินไปข้างหน้ากันแน่ (เพราะการเดินกับที่ กับเดินไปข้างหน้านั้นแทบจะมีท่าทางที่เหมือนกัน) การเดินขึ้นบันไดก็เหมือนกันระบบปัจจุบันจะใช้ AI หรือ เราต้องปรับ Clean เองภายหลัง

ตัวอย่างเราต้องมา Edit ภายหลังว่าเรานั่งไปตรงๆหรือ แบบเขยิบไปข้างหลัง นี่คืออาการ Drift

Rokoko Coil Pro จะมาช่วยแก้ในจุดนี้ เพราะใช้ EMF สนามแม่เหล็กไฟฟ้า ในการระบุตำแหน่งอยู่แสดงใน Space ขนาด 5เมตรได้ ทำให้การทำงานแม่นยำมากขึ้น ลดขั้นตอนการ Clean ไฟล์ด้งกล่าวออกไป

 

 

เนื้อข่าวภาษาอังกฤษ https://www.rokoko.com/insights/coil-pro-absolute-position-tracking-announcement

Today, we unveil our Coil Pro along with our Volta Tracking Technology platform. 7 years of R&D has led to this point. IMU/EMF fusion is in many ways one motion capture system to rule them all. 

Motion capture has revolutionized the way we can incorporate natural human motion into the digital realm. It’s a world where human agility meets technological innovation. From the early rotoscoping techniques used in 70s sci-fi flicks, to Andy Serkis’ performance as Gollum, to the millions of digital creators making incredible content out of their homes today – the impact of motion capture is growing exponentially and its reach extends well beyond entertainment. But capturing true-to-life movement has always had its limitations.

There are two dominant approaches to motion capture on the market today – optical (vision-based) and sensor-based (IMUs) – each with its own unique strengths and weaknesses.

‍Optical motion capture thrives on its ability to provide ‘absolute position’, delivering accurate world-space data over time. However, it crumbles under ‘occlusion’, the moments when cameras lose sight of the actor’s body parts due to other actors, props, or set objects in the way. It’s also very time consuming to set up and often requires large spaces, tons of equipment, and specialized technicians, not to mention the enormous cost.

New markerless AI vision solutions (like our own Rokoko Video) have come a long way to bring down cost and complexity. But these solutions still require cameras, rather complex calibration, they don’t show your result in realtime, and of course still suffer from before-mentioned occlusion issues.

On the other hand, IMU-based motion capture steps up where optical fails. With no need for line of sight, it defies occlusion and can be set up anywhere and in very little time. But this method grapples with a different challenge — it drifts over time because all positioning is relative to the starting point.

Shortly after launching our Smartsuit Pro (IMU-based) Smartgloves and Face Capture (all of which work in sync as part of the Full performance Capture system), we set out to find a way to make the ultimate motion capture device – one with no occlusion, and no drift.

The ultimate solution: Coil Pro

Today, we are excited to unveil an entirely new tracking platform that will power all our hardware tools going forward. We call the platform Volta Tracking Technology and it fulfils the promise of no drift, no occlusion by combining IMU and EMF with our sensor fusion algorithm.

The Coil Pro product we announce today creates an electro-magnetic field (EMF) with approximately 5 meters of radius in each direction. Within that field you have absolute ground truth and can work with anything from props to multiple actors for hours on end without seeing any positional drift. If you walk outside of the capture space, the IMUs will take over and resync with the EMF field when you re-enter. The seamless transition to IMU-only when you leave the EMF field will make sure that you never lose data, even if you need a larger capture space than the Coil Pro can provide.

The Coil Pro can be mounted on all standard tripods, hung from the ceiling, or just placed on or under your desk.

If you put it on your desk, you can play the piano in VR/AR for 2 hours and still hit the keys right where you want. If you mount it in your ceiling (or just on the floor), you can have multiple actors dancing, fighting, and high-fiving for hours with perfect accuracy and no data loss. If you bring it outside next to your driving range, you can track your golf swing with millimeter precision to perfect your motion.

By taking the best of both worlds – optical and sensor-based – we truly believe we have created the ultimate motion capture solution.

The EMF receivers are already in the Smartgloves, which means that we can give existing Smartsuit Pros absolute position in space via the gloves. This is the first step – and it’s a major one.

We will open for pre-orders of the Coil Pro in August of this year and start shipping the first limited batch in November.