ใช้งาน Facial Mocap บน iClone8 ด้วย Rokoko Headcam

ก่อนหน้านี้หากจะใช้งาน Facial Mocap ของ Rokoko จะต้องทำงานผ่านแอพพลิเคชั่น Face Capture ของ Rokoko บนมือถือ iPhone เท่านั้น แต่หลังจากการเปิดตัวของ Rokoko Head Cam
อุปกรณ์บันทึก Facial Mocap ที่สามารถเชื่อมต่อกับมือถือระบบ Android 5nvเป็นทางเลือกสำหรับผู้ใช้งานที่ไม่ได้ใช้มือถือระบบ iOS ทำให้การเข้าถึงการใช้งานระบบ Facial Mocap
ของ Rokoko กว้างขวางมากขึ้น แต่ก็ต้องบอกตามตรงว่าระบบการทำงานของ Rokoko Headcam ที่ต้องทำงานกับแอพพลิเคชั่น Face Capture บนมือถือ Android นั้นอาจจะยังไม่เสถียร
เท่าการทำงานบนมือถือ iOS ซึ่งเป็นธรรมดาของระบบที่เพิ่งเริ่มต้นเปิดตัว คาดว่าในอนาคตคงจะมีการอัพเดตเพิ่มเติมให้ระบบเสถียรขึ้นอีกแน่

แต่ว่าวันนี้เราจะมาแนะนำอีกหนึ่งทางเลือกกการใช้งงานเจ้าตัว Rokoko Headcam นี้ได้อย่างมีประสิทธิภาพผ่านโปรแกรมที่มีชื่อว่า iClone 8 โปรแกรมสร้างงานแอนิเมชั่นที่เน้นเรื่องการใช้งานง่าย
สามารถปรับจูนการทำงานของตัวละคร การเคลื่อนไหวต่างๆได้แค่ปรับพารามิเตอร์สำเร็จรูป เหมาะกับผู้เริ่มต้นสร้างงานแอนิเมชั่นหรือผู้ที่ต้องการสร้างงานแอนนิเมชั่นแบบเร่งด่วน เพราะ iClone 8
ยังมีจุดเด่นในเรื่องของคลัง Asset ขนาดใหญ่ให้ผู้ใช้สามารถ Download ตัวละคร ฉาก พร๊อบ มุมกล้องการจัดแสงต่างๆ ได้อย่างง่ายดาย และที่สำคัญโปรแกรมนี้สามารถทำงงานร่วนกับระบบ
Motion Capture ของทาง Rokoko ได้อย่างมีประสิทธิภาพ เราสามารถ Download iClone มาทดลองใช้ได้ก่อน 30 วันแล้วค่อยทำการซื้อก็ได้

โดยการทำงานที่เราจะแสดงให้ดูวันนี้คือการใช้งาน Rokoko Headcam บนโปรแกรม iClone 8 โดยเชื่อมต่อสาย USB Type-C ผ่านคอมพิวเตอร์ วิธีการทำงานนี้จึงเหมาะสำหรับผู้ที่ต้องการใช้งาน
Mocap แบบทำงงานอยู่กับที่ หรือการใช้งานในเฉพาะส่วน Facial Mocap เช่น งานประเภท V-Tuber LiveStreaming, การบันทึก Facial Mocap เพื่อเก็บสีหน้าของตัวละครหรือการพูดคุย เป็นต้น

การติดตั้งโปแกรม, Plug-in และเตรียม Project
การ Calibrate และการเชื่อมต่อ Rokoko Headcam กับ iClone
การปรับจูน Facial Motion

การติดตั้งโปแกรม, Plug-in และเตรียม Project
โปรแกรมและปลั๊กอินที่ต้องใช้ในวันนี้ประกอบไปด้วย iClone และ AccuFACE โดยทั้ง 2 โปแกรมนี้ เราจะดาวน์โหลดและติดตั้งผ่านโปรแกรม Reallusion Hub ซึ่้งเป็นตัวจัดการการดาวน์โหลดโปแกรม
ทั้งหมดในเครือของ Reallusion สามารถสมัคร Account เพื่อสะดวกต่อการ Download, Update หรือ ซื้อโปรแกรม เมื่อ Download เสร็จแล้วกด Open เพื่อเปิดโปรแกรมได้เลย

เมื่อเปิดโปรแกรม iclone ขึ้นมาเราจะเห็นถึงหน้าต่างการทำงานของตัวโปรแกรมที่ถูกแบ่งออกเป็นสัดเป็นส่วนและดูเข้าใจได้ง่ายว่าส่วนไหนใช้ทำอะไร เช่น ส่วนการสร้าง การดาวน์โหลด Asset ต่างๆ
ที่จะนำมาใช้ใน Scene ส่วนการปรับแต่ง Object ต่างๆที่อยู่ใน Scene และส่วนของ Timeline สำหรับการจัดการแอนิเมชั่นเป็นต้น โดยก่อนอื่นนั้นเราก็ต้องมีตัวละครใน Scene กันก่อนโดยสามารถ
ดาวน์โหลดได้จากหน้าต่าง Content ในหมวดของ Character โดยส่วนใหญ่ถูกสร้างจากโปรแกรม Character Creator ซึ่งจะมีความสมจริงมาก มีให้โหลดทั้งแบบฟรีและเสียเงิน โดยเราจะเริ่มจาก
Download ตัวละครตัวอย่างมา 1 ตัว สามารถโหลดได้ทั้งฉากและการจัดแสงเข้ามาด้วยก็ได้ เมื่อเรียบร้อยแล้วเราก็พร้อมสำหรับการเชื่อมต่อระบบ อุปกรณ์ Mocap ของ Rokoko เข้ามาแล้ว

การ Calibrate และการเชื่อมต่อ Rokoko Headcam กับ iClone
ถ้าหากเราใช้งาน Motion Capture แบบเต็มชุด ที่ประกอบด้วย Rokoko Smart Suit Pro II, Rokoko Smart Gloves ร่วมกับ Rokoko Headcam เราจำเป็นต้องเชื้อต่อชุดและถุงมือกับคอมพิวเตอร์
ผ่านโปรแกรม Rokoko Studio ซะก่อนและจึงส่งข้อมูล Mocap มายัง iClone ( ดูวิธีการเชื่อมต่อได้ที่นี่ ) แต่หากเราใช้งานเฉพาะส่วน Headcam เราสามารถเชื่อมต่อ USB-C จาก Headcam
เข้าคอมพิวเตอร์ได้เลย อย่าลืมเปิดแสงสว่างจาก Headcam ให้เพียงพอต่อการทำงานโดยแตะเบาที่หลังกล้อง จากนั้นเปิดโปรแกรม Accu Face ซึ่งเป็นโปรแกรมตรวจจับการเคลื่อนไหวของใบหน้า
ที่ทำงานคล้ายกันกับในแอพพลิเคชั่น Face Capture คือสร้างจุด Tracking ตามจุดที่สำคัญต่างๆของใบหน้าเพื่อนำข้อมูลนี้ไป Map กับตัวละครแอนิเมชั่น

โดยใน AccuFACE เราสามารถตั้งค่าต่างๆได้ เช่น การหมุนหน้าจอแสดงภาพจากกล้อง, เฟรมเรทในการ Track และ Resolution ของกล้อง เป็นต้น โดยแนะนำว่าให้ตั้งค่า Resolution อยู่ที่ 1024×768
เพื่อการทำงานที่ไหลลื่น โดยโปรแกรมจะแสดงให้เห็นภาพและการทำงานของจุด Tracking แบบ Real-time ให้เราดูเพื่อที่เราจะได้เห็นมุมกล้องและการทำงานของเซนเซอร์ว่าทำงานได้เต็มประสิทธิภาพ
ดีหรือไม่ เราจะได้ปรับมุมกล้องให้อยู่ในตำแหน่งที่เหมาะสมขึ้นได้

หากจะให้การทำงานระหว่าง Rokoko Headcam กับ AccuFACE ทำงานได้อย่างเต็มประสิทธิภาพมากขึ้นเราต้องทำการ Calibrate ซะก่อนโดยกดปุ่ม Calibrate Facial Capture ที่มุมขวาล่าง
จะมีเมนูสำหรับ Calibrate เด้งขึ้นมาให้แสดงสีหน้าตามที่โปรแกรมแนะนำ จากนั้นกด Set Expression โดยจะมีทั้งหมด 4 ข้อ คือ สีหน้าปกติ, เลิกคิ้ว, ขขมวคิ้ว และยกหัวคิ้ว เมื่อทำทุกข้อเสร็จแล้ว
กดปิดหน้าต่างเป็นอันเสร็จ โปรแกรมจะแสดงสถานะว่า Calibrate แล้วที่ด้านซ้าย

จากนั้นกลับมาที่โปรแกรม iClone ไปที่เมนู Plugins > Motion live ซึ่งเป็น Plugin สำหรับการเชื่อต่ออุปกรณ์ Motion Capture ต่างๆ ในหมวดของ Facial กดปุ่ม + ที่มุมขวา
จากนั้นเลือกAccuFACE เพิ่มเข้ามาส่วนในช่องแท็บ Connection ให้ใส่ IP Port ตามเลขที่แสดงในโปรแกรม AccuFACE

จากนั้นกดปุ่มวงกลมสีเขียว หากขึ้นเป็นสีเขียวเต็มดวงแสดงว่าเชื่อมต่อแล้ว จากนั้นมาเลือกที่แท็บ Character ในช่อง Face กดตรงปุ่มเครื่องหมายตกใจข้างติ้กถูกเลือก AccuFACE และกดติ้กถูก
จากนั้นกดปุ่ม Preview และกด Space Bar เพื่อเริ่ม Preview ได้เลย

การปรับจูน Facial Motion
แน่นอนว่าการทำงานกับตัวละครสำเร็จรูปที่ทางโปรแกรมมีให้จะถูกเซ็ทเป็นค่าเริ่มต้นไว้ซึ่งการขยับการเคลื่อนไหวอาจจะไม่ตรงกันสัดส่วนของเราทำให้การเคลื่อนไหวที่ได้ไม่ตรงกับการขยับใบหน้าของเรา
แต่ไม่ต้องห่วงเพราะโปรแกรม iClone เป็นโปแกรมที่มีจุดเด่นเรื่องการปรับจูนค่าต่างๆมาก ซึ่งก็รวมถึงการปรับจูนระดับการเคลื่อนไหวด้วย เราสามารถปรับจูนค่าระดับการเคลื่อนไหวใบหน้าเพิ่มเติมได้
เช่นระดับการยิ้ม, การแบะปาก, การอ้าปากเป็นต้น