เปิดตัว Rokoko HeadCam อุปกรณ์สำหรับ Facial Mocap

ํํYhong Mocap, ข่าวสาร
เปิดตัว Rokoko HeadCam อุปกรณ์สำหรับ Facial Mocap

ตัวละครแอนิเมชั่นที่ใช้การเคลื่อนไหวจาก Motion capture นอกจากการตรวจจับการเคลื่อนไหวของร่างกายแล้ว ยังมีอีกหนึ่งส่วนที่ทำให้การแสดงการเคลื่อนไหวสมบูณณ์มากยิ่งขึ้น
นั่นก็คือ Facial Mocap หรือการตรวจจับความเคลื่อนไหวของใบหน้า เป็นส่วนหนึ่งของการทำงาน Motion capture ที่สำคัญเพราะถือว่าเป็นส่วนหลักๆ ที่ใช้แสดงอารมณ์ของตัวละคร
เพราะทำให้ตัวละครสามารถสื่อสารทางสีหน้า รวมไปถึงการพูดคุยของตัวละคร อันเป็นสิ่งที่้ขาดไม่ได้สำหรับการบอกเล่าเรื่องราวของภาพยนตร์แอนิเมชั่น เรียกได้ว่า Facial Mocap
เป็นส่วนที่ทำให้ตัวละครดูมีชีวิตขึ้นมาจริงๆก็ว่าได้

อย่างที่รู้กันว่าตัวละครที่เคลื่อนไหวด้วย Motion Capture จะประกอบไปด้วยการทำงานของเทคโนโลยีตรวจจับความเคลื่อนไหวใน 2 ส่วน หลักๆ นั่นก็คือ ร่างกาย และ ใบหน้า
ซึ่งทั้งสองส่วนนี้ระบบการทำงานของการตรวจจับความเคลื่อนไหวทำงานในรูปแบบที่แตกต่างกัน โดยส่วนของร่างกายจะถูกจับความเคลื่อนไหวด้วยเซ็นเซอร์หลายจุดทั่วร่างกาย
อย่างเช่นชุด Rokoko Smart Suit Pro II และ Rokoko Smart Gloves ที่เป็นเซ็นเซอร์แบบ Gyroscope ที่ทำงานตวรจจับแบบเดียวกับเซ็นเซอร์ในโทรศัพท์มือถือของเราที่ตวรจจับการเอียง
ทำให้เราสามารถเล่นเกมแข่งรถบนมือถือโดยเอียงโทรศัพท์แทนการบังคับนั่นเอง ซึ่งเซ็นเซอร์ในชุดและถุงมือของ Rokoko ก็จะเป็นตัวบ่งบอกตำแหน่ง และการหมุนการเอียงในเซ็นเซอร์
แต่ละจุดเพื่อตรวจจับการเคลื่อนไหวของร่างกายส่วนต่างๆ


ทำความรู้จักระบบ Facial Mocap
แต่ในส่วนของ Facial หรือการตรวจจับการเคลื่อนไหวของใบหน้า จะทำงานในระบบที่แตกต่างกันและมีความซับซ้อนกว่า Body Mocap มาก ซึ่งที่จริงแล้วเทคโนโลยีนี้ไม่ใช่เรื่องไกลตัวเราแต่อย่างใด
แต่ความจริงมีอยู่รอบตัวยกตัวอย่างเช่น ระบบตรวจสอบใบหน้าเพื่อยืนยันตัวตน ระบบแสกนใบหน้าปลดล็อคประตู และระบบจดจำใบหน้าต่างๆ เทคโนโลยีเหล่านี้ล้วนมีการทำงานที่คล้ายกัน
นั่นก็คือการสร้างจุด Tracking บนใบหน้า ซึ่งถือเป็นรากฐานสู่ระบบตรวจจับการเคลื่อนไหวของกล้ามเนื้อใบหน้า หรือ Facial Mocap นี้เอง โดย Facial Mocap จะทำงานโดยสร้างจุด Tracking
บนใบหน้าแบบแยกออกป็นสัดส่วนโดยอ้างอิงตามกล้ามเนื้อของใบหน้าที่สามารถเคลื่อนไหวได้ เช่น กรอบตา กรอบปาก และติดตามการเคลื่อไหวของส่วนต่างๆอยู่ตลอด

 

การมาของ Rokoko Headcam ดียังไง ?
แน่นอนว่าฮาร์ดแวร์หลักๆที่ต้องมีหากจะใช้งานระบบ Facial Mocap นั่นก็คือกล้อง แต่ที่จริงแล้วยังต้องอาศัยระบบเซ็นเซอร์ตรวจจับระยะ ที่ทำงานควบคู่ไปกับตัวกล้อง โปรแกรมระบบตวจจับใบหน้า
ที่ใช้ระบบกล้องและเซนเซอร์อิฟาเรดที่เห็นได้ชัดและไกล้ตัวที่สุดคงจะหนีไม่พ้นระบบ Face ID บน iPhone ที่ระบบตรวจจับชีวะมิติ สำหรับรักษาความปลอดภัย ทำให้การทำงานในส่วนนี้เอง
ที่ Rokoko ใช้เป็นพื้นฐานสำหรับพัฒนาและสร้าง Application Rokoko Face Capture บน iOS ซึ่งทำให้ผู้ใช้งาน Android ไม่สามารถใช้งานระบบนี้ได้ แต่ก็ไม่ต้องกังวลไปเพราะ Rokoko Headcam
นี้เองที่จะมาแก้ไขในจุดนี้ทำให้ผู้ใช้งาน Android สามารถใช้งานระบบ Face Capture ได้

โดยเจ้า Rokoko Headcam นี้เป็นอุปกรณ์สำหรับบันทึกการเคลื่อนไหวของใบหน้าแบบสวมบนศรีษะ ทำงานผ่านระบบกล้องความละเอียดสูงและเซนเซอร์อินฟาเรด ใช้งานเชื่อมต่อผ่านโทรศัพท์มือถือ
ระบบ Android ที่มี USB Type-C จากนั้นเชื่อมต่อ Wi-Fi มือถือกับ Network เดียวกับคอมพิวเตอร์ก็สามารถใช้งานนะบบ Face Capture บน Android ได้แล้ว นอกจากนั้น Rokoko Headcam ยังสามารถ
ใช้งานได้โดยเชื่อมต่อกับคอมพิวเตอร์โดยตรงและทำงานผ่านระบบ AccuFACE บนโปรแกรม iClone ได้อีกด้วย

Unbox Headcam
ก่อนอื่นก็มาแกะกล่องดูหน้าตาของเจ้า Headcam กัน โดยกล่องของ Headcam ก็จะเป็นกล่องสีดำเรียบง่ายรูปแบบเดียวกับกับสินค้าอื่นๆของ Rokoko ในกล่องก็จะประกอบด้วย ส่วนหน้า, ส่วนหลัง,
แผ่นสำหรับเพิ่มความกระชับให้ศรีษะ และตีนตุ๊กแกสำหรับติดเซนเซอร์หัวของชุด Mocap Suit โดยการประกอบนั้นทำได้ง่ายมากเพียงแค่เสียบส่วนหน้าและหลังเข้าด้วยกัน โดยส่วนหลัง
จะมีปุ่มหมุนสำหรับปรับเพิ่มความกระชับขณะสวมกับศรีษะ ซึ่งหากรู้สึกยังไม่กระชับมากพอสามารถติดแผ่นเพ่มความกระชับที่ด้านในบริเวณข้างศรีษะเพิ่มได้

ดีไซน์ของ Rokoko Headcam จะมีความคล้ายกับ Rokoko Headrig แตกต่างกันตรงส่วนด้านหน้าที่เป็นกล้องสำหรับจับความเคลื่อนไหวความละเอียดสูงสุดที่ 1600×1200 พิกเซล
และบันทึกภาพเคลื่อนไหวได้สูงสุดที่ 60 เฟรมเรท โดยที่ตัวกล้องจะมีไฟ LED ที่ช่วยส่องเพิ่มความสว่างให้ใบหน้าเพื่อช่วยให้ระบบตรวจจับใบหน้าทำงานได้เต็มประสิทธิภาพมากยิ่งขึ้น
แถมไฟยังสามารถปรับระดับความสว่างได้ถึง 3 ระดับ เพียงแค่แตะเบาๆที่หลังกล้อง

ด้านการสวมใส่และใช้งานบอกได้เลยว่าคล่องตัวกว่ามากด้วยน้ำหนักของอุปกรณ์เพียง 240 กรัมทำให้สามารถเคลื่อนไหวได้อย่างคล่องแคล่ว การเคลื่อนไหวที่รวดเร็วรุนแรง หรือท่าทางที่มีความแอ็คชั่น
ก็ไม่เป็นปัญหาอุปกรณ์ยังยึดติดกับศรีษะดี ซึ่งถ้าเทียบกับการใช้งาน Headrig ที่ติดตั้งโทรศัพท์ iPhone ถือว่าตัว Headcam นี้เบาและคล่องตัวกว่ามาก

การเชื่อมต่อเพื่อใช้งาน Rokoko Headcam
ตัว Rokoko Headcam ทำงานโดยเสียบสาย USB Type-C เชื่อต่อกับโทรศัพท์ Android โดยผ่าน Application Rokoko Face Capture ก่อนที่จะเสียบสายเชื่อมต่อ USB ควรจะเช็คดูก่อนว่าโทรศัพท์ของเรา
มีฟังก์ชั่นสำหรับเปิด-ปิดการเชื่อมต่อ OTG หรือไม่ โดยเป็นการยินยอมให้มือถือจ่ายไฟและอ่านข้อมูลจากอุปกรณ์ที่เชื่อมต่อ จึงต้องเปิดการเชื่อมต่อ OTG ก่อนจึงจะใช้งานได้ แต่โทรศัพท์บางรุ่น
ฟังก์ชั่นนี้จะถูกเปิดไว้ เป็นค่าเริ่มต้นอยู่แล้ว และจากนั้นโทรศัพท์ต้องเชื่อมต่อ Wi-FI เครือข่ายเดียวกันกับที่คอมพิวเตอร์ใช้ เมื่อเสียบสายเชื่อมต่อและเข้าแอพแล้วจะมีรายการอุปกรณ์ที่พร้อมเชื่อมต่อ
ปรากฏขึ้นในโปรแกรม Rokoko Studio ให้กด Connect

จากนั้นจะมีการขออณุญาติเชื่อมต่อขึ้นมาบนมือถือให้เลือก Allow กล้องก็จะถูกเปิดและโชว์ขึ้นมาบนหน้าจอและมี Preview Mesh ที่แสดงการตรวจจับใบหน้าขึ้นโชว์ให้ดู เพียงแค่นี้ก็พร้อมสำหรับการบันทึก
Face Capture แล้ว อย่าลืมปรับระดับแสงให้มีความสว่างเพียงพอต่อการทำงาน เราสามารถกดปิดการแสดงกล้องแบบ Real Time เพื่อพกโทรศัพท์มือถือไว้ในชุดได้ ไม่จำเป็นต้องถือให้เกะกะ
ช่วยให้เพิ่มความคล่องตัวขึ้นได้มาก

Model ตัวละครที่จะนำมาทำงานกับ Rokoko Facial Mocap

อย่างที่รู้กันว่าตัวโมเดลที่จะมาทำงานกับงานแอนิเมชั่นได้จะต้องมีการเตรียมการพิเศษเฉพาะ เพื่อให้สามารถทำงานแอนิเมชั่นได้ ซึ่งไม่ใช่โมเดลที่ได้จากการแสกนไฟล์ 3 มิติ หรือโมเดลที่ปั้นขึ้นมาทั่วไปได้
แต่จะต้องเป็นโมเดลที่มีการจัดการเส้นโครงสร้างหรือ Topology สำหรับงาน แอนิเมชั่นโดยเฉพาะ เพื่อให้โมเดลสามารถเคลื่อนไหวได้อย่างถูกต้อง ซึ่งโมเดลหน้าตัวละครนั้นยิ่่งจะต้องมีการจัดการเส้น
ที่อาศัยหลักการที่เฉพาะทาง เพราะใบหน้านั้นประกอบไปด้วยส่วนที่เคลื่อนไหวได้จำนวนมาก จึงต้องให้ความสำคัญกับเส้นโครสร้าง เช่น รอบตา, รอบปาก และจมูก เป็นต้น นอกจากนี้ยังมีข้อบังคับอื่นๆ
ที่ต้องเตรียมอีก อย่างการแยกส่วนฟัน ลิ้น และลูกตา หรือการสร้างช่องปากให้ได้ขนาดที่เหมาะสม

อย่างที่บอกในตอนแรกว่าระบบการทำงานของ Body Mocap และ Face Mocap นั้นมีความแตกต่างกันซึ่งนั่นรวมถึงระบบกระดูก หรือ Bone ของตัวโมเดล ซึ่งใน Body จะใช้ระบบ Rigging Bone Joint
ที่มีอยู่ประมาณ 19 จุดทั่วร่างกาย ตามตำแหน่งข้อพับหรือส่วนที่สามารถเคลื่อนไหวได้ต่างๆ แต่ในส่วนของใบหน้านั้นจะใช้เป็นการ Blend shape เป็นระบบ Rigging ใบหน้าตัวละคร สร้างโดยการดัดใบหน้า
ให้ทำท่าทางต่างๆกันในทุกท่าทางที่ใบหน้าจะสามารถขยับได้ เช่นการ ยิ้ม อาปาก หุบปาก กลอกตาไปทางซ้าย หรือทางขวา เป็นต้น และเมื่อทำทุกท่าทางแล้วตัวละครจะมามารถขยับใบหน้าในแบบต่างๆได้
ผ่านการค่อยๆ Transition ไปสู่ท่าทางนั้นๆ โดยใบหน้านั้นมีระบบควบคุมที่ซับซ้อนกว่าร่างกายมากโดยต้องสร้าง Shape Key มากถึง 53 ท่าทางจึงจะสามารถเคลื่อนไหวใบหน้าได้อย่างสมจริง

บันทึกและส่งออกข้อมูล Mocap แบบ Live Steaming
เมื่อเรานำเข้าโมเดลเข้ามาในโปรแกรม Blender แล้ว สามารถทำการบันทึก Mocap ในโปรแกรม Rokoko Studio และ Export ใช้งานใน Blender ก็ได้


หรือจะเลือกวิธีที่สะดวกกกว่าผ่านการ Live Link หรือการส่งข้อมูล Mocap แบบ Realtime มายัง Blender ก็ได้ โดยเปิดฟังชนก์ Live Link ใน Rokoko Studio ก่อน จากนั้นกด Start ReCeiver
ในปลั้กอิน Rokoko Studio Live บน Blender

ในส่วนของการเชื่อมต่อข้อมูล Mocap เข้ากับตัวละครบน Blender มีอยู่ 2 วิธีหลักๆ นั่นก็คือแบบ Auto และ Manual โดยการที่จะกด Auto ได้นั้นตัว Shape key ของโมเดลตัวละครต้องมีชื่อที่เหมือนกัน
กับของ Rokoko ก็จะสามารถกด Auto Detect ได้เลย

แต่หากมีชื่อที่ต่างกันแล้ว เราจะไม่สามารถใช้ Auto Detect ได้ เราจะต้องใส่ Target ของ Shape Key ต่างๆด้วยตัวเองโดยสามารถลองปรับพารามิเตอร์ของ Shape Key ดูได้
เพื่อเช็คว่าเป็นการขยับส่วนไหน เมื่อใส่ข้อมูล Shapekey ทั้งหมดเสร็จแล้ว โมเดลตัวละครบน Blender ก็จะขยับตามขอมูล Mocap ของเราแล้ว

และนี่คือผลลัพธ์ที่ได้จากการส่งข้อมูล Mocap ไปยังตัวละครต่างๆ

สินค้าที่เกี่ยวข้อง