แสดง MOCAP แบบสดๆในโปรแกรม Blender ผ่านระบบ Live Streaming

อย่างที่หลายๆคนรู้กันว่าการบันทึก Motion Capture คือหนึ่งในอุปกรณ์ Input ที่ใช้เก็บข้อมูลการเคลื่อนไหวของนักแสดงในการสร้างงานภาพยนตร์หรือ Animation ซึ่งเมื่อเราได้ข้อมูลการเคลื่อนไหว
หรือไฟล์ Mocap มาแล้ว จะต้องมีการส่งไฟล์นั้นๆ ไปใส่ในตัวละครที่เราเตรียมไว้แล้ว ( Re-Target Animation ) เราถึงจะเห็นว่าตัว Animation หรือการเคลื่อนไหว กับตัวละครที่เรามีความราบลื่นดีมั้ย
รวมถึงจุดบกพร่องต่างๆที่อาจเกิดขึ้นของการเคลื่อนไหว แต่ที่จริงแล้วเราสามารถดูความเคลื่อนไหวของตัวละครของเราที่ได้รับข้อมูลมาจากชุด Mocap Suit แบบ Real Time ได้
ผ่านระบบของโปรแกรม Rokoko Studio ที่เรียกว่าระบบ “Live Streaming” ซึ่งฟีเจอร์นี้ทาง Rokoko ได้ออกแบบมาให้รองรับการส่งข้อมูล Mocap แบบ Real Time ไปยังโปรแกรม
สำหรับสร้างงาน Animation ได้มากกว่า 10 โปรแกรม

ซึ่งการส่งข้อมูล Mocap ได้แบบ Real Time นี้เอง มีประโยชน์อย่างมากต่อการกำกับงาน Animation เพราะสามารถเห็นได้ทันทีว่าตัวละครเคลื่อไหวไปในแบบที่ต้องการหรือไม่ ทำให้สามารถแก้ไข
การแสดงใหม่ได้ทันที ทำให้กระบวนการทำงานไม่ซับซ้อนช่วยลดขั้นตอนการทำงานลงได้ แต่ฟังก์ชัน Live Stream นี้เองยังมีประโยชน์อื่นอยู่อีก ซึ่งคิดว่าคงเดากันไม่ยาก นั่นก็คือการ Live Stream
ตามชื่อฟีเจอร์เลย แน่นอนว่าเหมาะกับการนำไปใช้สำหรับการ Live Stream ผ่านตัวละคร Avatar 3มิติ หรือเรียกกันว่า ” Vtuber “ ที่กำลังมาแรงในปัจจุบัน

และในวันนี้เราจะมาแสดงให้เห็นวิธีการเชื่อมต่อชุด Rokoko Smart Suit Pro II รวมถึง Rokoko Face Capture ไปยังโปรแกรม Animation ยอดฮิตความสามารถครอบจักวาลที่สามารถใช้งาน
กันได้แบบฟรีๆ อย่าง Blender ให้ดูกัน โดยจะส่งข้อมูล Mocap ไปแบบ Real Time ผ่านระบบ Live Streaming ใน Rokoko Studio เพื่อให้เห็นถึงประสิทธิภาพว่าจะสามารองรับงาน Vtuber
ด้มีประสิทธิภาพแค่ไหน และขั้นตอนการเชื่อมต่อต้องทำยังไงบ้าง

• เตรียมตัวละครและฉาก
• ติดตั้ง Plug-in
• เชื่อมต่อชุด Rokoko เปิดฟังก์ชั่น Live Streaming
• เลือก Actor เพื่อเชื่อมต่อชุดใน Blender

เตรียมตัวละครและฉาก
แน่นอนว่าก่อนที่เราจะสามารถเชื่อมต่อข้อมูล Mocap มายังโปรแกรม Blender ได้ เราต่อมีตัวละครที่สามารถรองรับข้อมูล Mocap ได้ก่อน หรือก็คือต้องมีตัวละครที่มีการ Rig กระดูก (Bone)
ในรูบแบบเดียวกับไฟล์ Mocap ที่ Rokoko ใช้ โดยกระดูกที่ใช้ในตัวละครจะถูกอ้างอิงมาจาก Sencer ของชุด Rokoko โดยต้อง Rig กระดูกที่มีจำนวนและตำแหน่งถูกต้อง และอยู่ในท่า T-pose
เพื่อให้สามารถรองรับข้อมูลการเคลื่อนไหวในวส่วนของร่างกายได้ (สามารถดูวิธีการเตรียมตัวละครได้ที่นี่ )

แต่ในส่วนของใบหน้าจะใช้ตัว Controller ที่เรียกว่า ระบบ Blend Shape เพื่อกำหนดการเคลื่อนไหวของในหน้า จำนวน 52 จุด หากทำการ Blend Shape มาในรูปแบบเดียวกันกับที่ Rokoko ใช้
ก็จะสามารถเชื่อมต่อกับข้อมูล Face Capture ได้เช่นเดียวกัน

จากนั้นเราสามารถเพิ่มฉาก พร๊อบหรือ สภาพแวดล้อมต่างๆให้พร้อมสำหรับการ Live Streaming โดยควรระวังอย่าให้ Asset ต่างๆที่นำเข้ามาหนักเกินไป เพื่อที่การทำงานจะได้ลื่นไหลไม่กระตุก
(ขึ้นอยู่กับสเปคของเครื่องคอมพิวเตอร์) จากนั้นตั้งค่าการ Render ตามเหมาะสม โดยอย่าลืมคำนึงถึงว่าเราจะส่งข้อมูลแบบ Real Time การ Render ก็ควรจะเหมาะสำหรับแสดงผล
แบบ Real Time โดยตั้งค่าไม่ให้ประมวลผลหนักไป

ติดตั้ง Plug-in
แต่ก่อนที่เราจะส่งข้อมูล Mocap จากโปรแกรม Rokoko Studio มายัง Blender แบบ Real Time ได้จะต้องติดตั้ง Plug- in ที่มีชื่อว่า ” Rokoko Studio Live for Blender “ ซะก่อนโดยสามารถ
โหลดได้ที่นี่ เมื่อดาวน์โหลดเสร็จแล้ว จะได้เป็นไฟล์ .Zip ให้เข้าไปใน Preference ของ Blender ในแท็บ Add-Ons คลิกที่ปุ่ม Install จากนั้นเลือกไฟล์ที่ดาวน์โหลดมาและกด Install ด้านล่าง

ในช่องค้นหาให้พิมพ์ค้นหา Rokoko จะเห็น Plug-in ที่เราเพิ่งติดตั้งมา กดติ้กถูกเพื่อ Enable Plug-in แล้วรอให้โปแกรมประมวลผลซักครู่ จากนั้นเราจะมีแท็บ Rokoko เพิ่มในแท็บฟังก์ชั่นด้านขวา
ของ Viewport ให้เรา Login ผ่าน Account ของ Rokoko เพียงแค่นี้ก็พร้อมสำหรับการเชื่อมต่อแล้ว

เชื่อมต่อชุด Rokoko เปิดฟังก์ชั่น Live Streaming
เมื่อ Asset ทุกอย่างพร้อมแล้วต่อมาก็ทำการเชื่อมต่อชุด Rokoko Smart Suit Pro II และ Rokoko Smart Gloves ผ่านระบบ Wi-fi และเราจะเชื่อมต่อ Face Capture จาก Smartphone ร่วมด้วย
เพื่อให้สามารถเก็บความเคลื่อนไหวได้ทั้งตัวและใบหน้าโดยจะใช้ร่วมกับ Rokoko Headrig เพื่อให้สามารถเก็บข้อมูล Face Mocap ได้มีประสิทธิภาพมากยิ่งขึ้น จากนั้นทำการสร้าง Project Scene
และ Calibrate ชุดให้เรียบร้อย จากนั้นไปที่ด้านขวาของโปแกรม ที่แท็บ Live Streaming จากนั้นติ้กถูกเพื่อเปิดฟังก์ชั่น Live Stream ที่ไอคอนโปรแกรม Blender (หากไม่สามารถเปิดได้
ให้คลิกที่ไอคอนตั้งค่าก่อน)

เลือก Actor เพื่อเชื่อมต่อชุดใน Blender
เมื่อข้อมูลจาก Rokoko Studio พร้อมส่งออกมาแล้ว ที่นี้ก็เราก็จะเปิดกาารรับข้อมูลใน Blender โดยการเปิดแท็บ Plugi-in Rokoko Studiolive ที่ด้านขวาจากนั้นกดปุ่ม Star Receiver เพื่อรับข้อมูล
แต่เราต้องเลือก Actor ที่ใช้ใน Rokoko Studio ก่อนโดยจะต้องเลือกในทั้ง 2 ส่วนคือ Body และ Face โดยในส่วนของ Body จะเลือก Actor ได้เราต้องเลือกที่ตัวกระดูกของ Model ก่อน
จากนั้นไปที่ Icon Object หรือไอคอนสีส้มด้านขวาที่แท็บ Rokoko Studio Live Setup ที่ Actor ให้เลือกตัว Actor ที่ส่งมาจาก Rokoko ได้เลย จะเห็นว่าการเคลื่อไหวของ Body ถูกเชื่อมต่อแล้ว
( หากยังไม่ได้ ให้กด Auto Detect และ Set as T-pose ตามลำดับ เพื่อให้โปรแกรมทำการตรวจจและจับคู่กระดูกอัตโนมัติ )

และในส่วนของ Face เราจะเลือกที่ตัว Mesh ของหัวหรือใบหน้าจากนั้นเลือกตัว Actor เดียวกัน ข้อมูลใบหน้าก็จะถูกส่งมาเช่นเดียวกัน เพียงแค่นี้เราก็สามารถ Live Streaming ผ่านตัวละคร 3 มิติ
ในโปรแกรม Blender ด้วย Mocap แล้ว ซึ่งถือว่าเชื่อมต่อได้ค่อนข้างง่ายเลยทีเดียว

ผลลัพธ์การใช้ Rokoko Live Streaming ในโปรแกรม Blender