เปลี่ยนคนจริงๆ เป็น Digital Human และสร้างการเคลื่อนไหวด้วย Motion Capture

ํํYhong Mocap, ข่าวสาร
เปลี่ยนคนจริงๆ เป็น Digital Human และสร้างการเคลื่อนไหวด้วย Motion Capture

ทุกวันนี้การเติบโตทางเทคโนโลยีนั้นรวดเร็วขึ้นอย่างมาก มีการสร้างสิ่งใหม่ๆเกิดขึ้นทุกวัน เพื่อมารองรับความเป็นอยู่ของเรา ให้มีความสะดวกสบายมากยิ่งขึ้น หนึ่งในเทคโนโลยี
ที่กำลังมาแรงอย่างมากนั่นก็คือ เทคโนโลยีปัญญาประดิษฐ์ หรือ AI ( Artificial Intelligence ) ซึ่งก็คือเทคโนโลยีที่ช่วยให้คอมพิวเตอร์สามารถเลียนแบบความสามารถในการคิด การเรียนรู้
และการตัดสินใจของมนุษย์ AI ถูกนำมาใช้ในหลายด้าน เช่น การประมวลผลภาพและเสียง การแปลภาษา การขับขี่ยานพาหนะอัตโนมัติ และการวิเคราะห์ข้อมูลเชิงลึก เป็นต้น

ขอขอบคุณภาพจาก www.google.com

ระบบ AI ที่เรารู้จักกันอย่างแพร่หลายหรือพบเห็นได้บ่อยในทุกวันนี้เช่น Siri ผู้ช่วยเสียงที่ช่วยตอบคำถาม ควบคุมอุปกรณ์ และให้ข้อมูลทั่วไปจาก Apple, Google Assistant
ที่สามารถช่วยค้นหาข้อมูล ตั้งค่าการแจ้งเตือน และควบคุมอุปกรณ์ Smart Home จาก Google หรือ AI Chatbot ที่เป็นที่นิยมไม่น้อยอย่าง ChatGPT (OpenAI) โมเดลภาษาขั้นสูง
ที่สามารถสนทนา ตอบคำถาม และสร้างเนื้อหาได้ จะเห็นได้ว่าเราสามารถพบเจอ AI ได้จากเทคโนโลยีรอบตัวเรา และถึงแม้ AI จะเป็นระบบที่ชาญฉลาดแต่ก็ยังไม่มีรูปลักษณ์ที่มองเห็นได้
ระบบ AI จึงถูกนำมาพัฒนาเป็น AI Digital Human

AI Digital Human คืออะไรและใช้ทำอะไรได้บ้าง?
AI Digital Human คือมนุษย์เสมือนที่ขับเคลื่อนด้วยปัญญาประดิษฐ์ (AI) สามารถโต้ตอบกับผู้ใช้ผ่านข้อความ เสียง หรือท่าทางได้อย่างเป็นธรรมชาติ มักใช้ในงานด้าน Virtual Influencer,
Customer Service, การศึกษา และความบันเทิง โดยจุดเด่นของ AI Digital Human นั่นก็คือ รูปลักษณ์สมจริง การแสดงออกทางสีหน้าและการเคลื่อนไหวร่างกายที่ดูเหมือนคนจริงๆ
ซึ่ง AI Digital Human สามารถใช้ในงานได้หลายประเภท ได้แก่

  •  VTuber และ Virtual Influencer สำหรับสร้างครีเอเตอร์ดิจิทัลสำหรับโซเชียลมีเดีย
  • AI Customer Service ที่ช่วยให้บริการลูกค้าแบบโต้ตอบอัตโนมัติ
  • การศึกษาและฝึกอบรม โดยสร้างอาจารย์ AI หรือแบบจำลองการเรียนการสอน
  • Metaverse และ Virtual Eventsใช้เป็นตัวแทนในสภาพแวดล้อมดิจิทัล
  • อุตสาหกรรมเกมและภาพยนตร์ – ใช้สร้างตัวละครเสมือนที่สมจริงและโต้ตอบได้
ขอขอบคุณภาพจาก www.google.com

ตัวอย่าง AI Digital Human ที่มีชื่อเสียงได้แก่

  • Luo Tianyi Virtual Idol จากจีนที่ใช้ AI ในการร้องเพลงและสื่อสารกับแฟน ๆ
  • Lil Miquela Virtual Influencer ที่ได้รับความนิยมในโลกแฟชั่นและโซเชียลมีเดีย
  • FN Meka แร็ปเปอร์เสมือนที่ใช้ AI สร้างเพลงและคอนเทนต์
  • Samsung Sam Virtual Assistant ของ Samsung ที่ออกแบบมาให้มีบุคลิกและภาพลักษณ์ที่เป็นมิตร

Motion Capture เกี่ยวข้องกับการสร้าง AI Digital Human อย่างไร?
แน่นนอนว่านอกจากภาพลักษณ์ทางรูปร่างหน้าตาแล้ว อีกส่วนหนึ่งที่สำคัญที่จะทำให้ตัวละครดูมีชีวิตขึ้นมาจริงๆนั่นก็คือการเคลื่อนไหว ซึ่งการเคลื่อนไหวที่จะดูสมจริงได้นั้น ควรจะศึกษา
หรือถ่ายทอดมาจากการเคลื่อนไหวของมนุษย์จริงๆ และหนึ่งในวิธีที่ดีที่สุดที่จะบันทึกการเคลื่อนไหวของมนุษย์ได้นั้น ก็คือการใช้เทคโนโลยี Motion Capture ซึ่ง Motion Capture ถือว่า
เป็นส่วนสำคัญอย่างมากในการสร้าง Digital Human โดยนอกจากเพื่อบันทึกการเคลื่อนไหวที่สมจริงเพื่อนำไปใช้กับตัวละคร Digital Human แล้ว Motion Capture ยังมีบทบาทอื่นๆ
อีกเช่น การช่วยพัฒนา AI ด้านพฤติกรรมมนุษย์ โดยเก็บข้อมูลเกี่ยวกับพฤติกรรม การเดิน การแสดงออก ฯลฯ และนำมาใช้ฝึก AI ให้เข้าใจพฤติกรรมมนุษย์ได้ดีขึ้น เป็นต้น

จะเห็นได้ว่าว่าหากเราสร้างตัวละคร Digital Human ผนวกกับเทคโนโลยี Motion Capture จะทำให้ได้ตัวละคร Digital Human ที่สมจริงอย่างมาก วันนี้เราจึงจะมาแสดงให้เห็นถึงการสร้าง
ตัวละคร Digital Human ที่ผสานกับเทคโนโลยี Motion Capture จาก Rokoko เพื่อสร้างตัวละครที่สมจริง ซึ่งเท่านั้นยังไม่พอ เราจะเพิ่มระดับความสมจริงขึ้นอีกด้วย การใช้ใบหน้าคนจริงๆ
เพื่อเป็นต้นแบบในการสร้าง Digital Human จะสร้างออกมาได้สมจริงแค่ไหนมาดูกันเลย

ขั้นตอนการสร้าง Digital Human และบันทึกการเคลื่อนไหวด้วย Motion Capture

Scan ใบหน้าคนจริงด้วย Scanner
ขั้นตอนแรกในการที่จะสร้าง Digital Human จากคนจริงๆ แน่นอนว่าอย่างแรกเราก็ต้องเก็บข้อมูลใบหน้า ของคนที่เราต้องการสร้าง Digital Human ก่อน โดยที่เราจะต้องเก็บข้อมูลในรูปแบบ
ของไฟล์ 3 มิติ ซึ่งการที่จะได้ไฟล์ 3 มิติสามารถทำได้หลายวิธีอย่างเช่น การประมวลผลจากภาพถ่าย หรือ ระบบ Photogrammetry, การขึ้น Model ด้วยการปั้นในโปรแกรม 3มิติ,
การใช้ AI ประมวลผลภาพถ่ายเป็น Model 3 มิติ เป็นต้น แต่วิธีที่มีประสิทธิภาพที่สุดคงหนีไม่พ้นการแสกนด้วย 3D Scanner ที่ปัจจุบันสามารถแสกนวัตถุออกมาโดยมีรายละเอียดสูง
รวมทั้งยังเก็บข้อมูลของสี หรือ Texture ได้อีกด้วย โดยเครื่องที่เราจะใช้แสกนใบหน้าคนในวันนี้คือเครื่อง … เพราะ…โดยการแสกนจะเน้นในส่วนของใบหน้าเป็นหลัก สำหรับนำข้อมูล
ไปสร้าง Metahuman ต่อไป

Clean File & Export
โดยเครื่องมือที่เราจะใช้สร้าง Digital Human ในวันนี้นั่นก็คือ Metahuman จาก Epic Games ซึ่งเป็นส่วนหนึ่งของ Unreal Engine ที่ช่วยให้การสร้าง Digital Humans หรือ ตัวละครดิจิทัล
ที่เหมือนมนุษย์จริงๆ เป็นเรื่องที่ง่ายและรวดเร็วมากขึ้น โดยไม่จำเป็นต้องมีทักษะด้านการสร้างโมเดล 3D ที่ลึกซึ้งหรือการใช้เครื่องมือที่ซับซ้อนมากอีกทั้ง Unreal Engine ยังรองรับการทำงาน
Motion Capture จาก Rokoko เป็นอย่างดีอีกด้วย โดยก่อนที่เราจะนำไฟล์ที่ได้จากการแสกนไปใช้สร้าง Meta Human ได้ จะต้องมีการจัดการไฟล์กันก่อน ซึ่งสิ่งที่เราจะทำหลักๆ
นั่นก็คือการตัดส่วนที่ไม่จำเป็นต้องใช้ออก อย่างส่วนผม, ส่วนหลังหัว, และคอ หรือเรียกง่ายๆ คือเก็บแต่ส่วนของใบหน้าไว้ สามารถทำในโปรแกรม 3D Sculpting ที่ถนัดได้เลยไม่ว่าจะเป็น
Zbrush หรือ Blender จากนั้น Export .fbx ไฟล์ โดยเอา Texture ไปด้วย เพราะหากมี Texture จะทำให้ประมวลผลในการสร้าง Meta Human ทำได้ดียิ่งขึ้น

Import เข้า Unreal Engine เพื่อสร้างตัวละคร Meta human
ขั้นตอนสำคัญลับดับต่อมานั่นก็คือการสร้าง Meta Human โดยขั้นตอนนี้จะเป็นการใช้ข้อมูล 3 มิติของใบหน้าที่เราแสกนมาทำการ Mapping เพื่อสร้าง Meta Human ให้มีลักษณะใกล้เคียง
กับข้อมูลใบหน้าจากไฟล์แสกนของเราก่อนอื่นก็ต้องติดตั้ง Plug-in ที่ชื่อว่า “Metahuman” ซะก่อนจึงจะสามารถทำได้


เริ่มต้นโดยการ Import ไฟล์.fbx ที่เราเตรียมไว้เข้า Unreal Engine และกด Add เพื่อค้นหาและเพิ่ม Metahuman identity จากนั้นดับเบิ้ลคลิกเข้าไป โปรแกรมจะเด้งหน้าต่าง Metahuman identity
ขึ้นมา ให้ Login Account ของ Epic Game เพื่อที่หลังจากเราสร้าง Meta Human ได้แล้วจะสามารถนำไปปรับแต่งต่อได้บนเว็บไซต์โดยลิงค์จาก Account เดียวกัน


คลิกที่ปุ่ม Components from Mesh เลือกไฟล์หน้าที่เราแสกนมาจากนั้นปรับหมุมกล้องมาที่กลาง Scene ซูมให้พอดีแล้วปรับ Field of view ของกล้องที่ 15 เพื่อให้ได้มุมกล้องที่กว้างพอ
กด F เพื่อ Focus หลังจากนั้นเราจะกด Promote Frame หรือล็อคมุมกล้องที่ต้องการ Tracking ใบหน้า กด Track Active Frame โปรแกรมจะตรวจจับส่วนสำคัญของใบหน้าเช่น ตา ร่องแก้ม
และริมฝีปาก โดยสร้างเส้นและจุดมา Track ตามตำแหน่งดังกล่าว ถ้าทุกอย่างดูเรียบร้อยดีก็สามารถไปต่อได้เลย แต่หากจุดใดไม่ตรงตามตำแหน่ง สามารถเลื่อนปรับจุดให้เข้าตำแหน่งมากขึ้นได้


และเมื่อได้ที่ดีแล้ว กดที่ Meta Human Identity Solve ตามด้วยกด Mesh to Meta Human เพื่อสร้าง Meta Human และโปรแกรมจะแจ้งเตือน ให้เราสามารถไปปรับแต่งต่อได้บนเว็บไซต์

Customization
และในขั้นตอนสุดท้ายนั่นก็คือการปรับแต่ง Meta Human ของเรานั่นเองโดยจะทำการปรับแต่งบนเว็บไซต์ของ Meta Human โดย Login ผ่าน Account ของ Epic Game จะเห็น Meta Human
ที่เราสร้างมา โดยที่จะเป็นเหมือน Mesh เปล่าๆเราจะต้องไปใส่ส่วนที่เหลือเพิ่มเติมให้กด Edit เพื่อปรับเริ่มแต่ง การปรับทำตามส่วนต่างๆที่อยากปรับได้ตามใจ เช่น ปรับรูปหน้า สีผิว เส้นผม
เสื้อผ้า เป็นต้น ถ้าจะให้ดีควรมี Reference ของตัวแบบมาเทียบเพื่อปรับให้ดูเหมือนตัวจริงมากยิ่งขึ้น โดยเมื่อปรับแต่งเสร็จเรียบร้อยแล้ว สามารถนำ Meta Human ที่ได้ไปใช้งานต่อ
ในการทำ Animation ได้เลยเพราะมีการ Rigging ใบหน้าที่สามารถขยับตามการเคลื่อนไหวของกล้ามเนื้อใบหน้าไว้ให้แล้ว ซึ่งการแสดงอารมณ์หรือสีหน้าของตัวละคร ค่อนข้างมีความสมจริง
มากเลยทีเดียว สามารถทดลองเลือก ใส่ Preset อารมณ์ต่างๆที่มีให้เพื่อดูตัวอย่างการเคลื่อนไหวได้


Record Facecapture และนำไปใช้กับตัวละคร Digital Human
หลังจากปรับแต่งตัวละคร Meta Human บนเว็บไซต์เสร็จแล้ว เราจะนำเข้ามายัง Unreal Engine อีกครั้งผ่าน Pulg-in Plug-in Quixel Bridge โดย Login Account ของ Epicgame
ทำการ Download Meta Human เลือกแท็บ My Meta Human จากนั้นดาวน์โหลดเข้ามายัง Unreal ได้เลย ที่ Tab Content Drawer ด้านล่างใน Folder Content>Meta Human เราจะเห็นตัวละคร
ที่เราสร้าง สามารถลากเข้า Scene ได้เลย


จากนั้นเราจะมาทำขั้นตอนที่สำคัญที่จะทำให้ตัวละครของเรามีชีวิตนั้นก็คือการบันทึก Motion Capture โดยตัวอย่างที่เราจะทำให้ดูในวันนี้คือการบันทึก Facial Capture โดยใช้ระบบ Rokoko Face Capture
ที่ทำงานผ่านมือถือไอโฟนให้ดูเป็นตัวอย่างกัน โดยแอป Face Capture จะทำการบันทึกภาพเพื่อ Tracking การเคลื่อนไหวของใบหน้าและส่งข้อมูล Motion ไปยัง Rokoko Studio


ตัวระบบ Face Capture รองรับการขยับปาก การยิ้ม หรือ การอ้าปาก การหลับตากระพริบตา การยักคิ้ว รวมทั้งยังจับการเคลื่อนไหวของการกลอกตาอีกด้วยและเพื่อการจับการเคลื่อนไหว
ได้อย่างมีประสิทธิภาพ อย่าลืมระวังไม่ให้ระยะของใบหน้าอยู่ห่างจากกล้องมากเกินไป โดยข้อมูลที่บันทึก Facial Mocap นั้นสามารถนำไปใช้ได้ 2 แบบหลักๆ นั่นก็คือ การส่งออกเป็นไฟล์ .Fbx หรือ Bvh.
และอีกวิธีนั่นก็คือการส่งข้อมูลแบบ Live Streaming หรือส่งไปแบบ Real-Rime ซึ่งสามารถนำไปใช้กับงานประเภท Vtuber Livestreaming ได้


ขั้นแรกให้ติดตั้งและเปิดใช้ Plug-in Rokoko Studio Live บน Unreal ซะก่อน จากนั้นทำการเปิด Livestreaming ไปยัง Unreal บนโปรแกรม Rokoko Studio จากนั้นจากนั้นไปที่
Window>Virtual Production>Livelink เพื่อเชื่อมต่อการ Live Steaming จาก Rokoko คลิกที่ไอคอน +Source>Rokoko Studio Source>Studio จะปรากฎการ Link Motion ที่มาจาก Rokoko
ทั้ง Body และ Face ติ๊กเลือกส่วนที่เราจะใช้งานได้เลย ในที่นี้เราจะเลือกส่วน Face


เลือกที่ตัว Model ในแถบ Live Linkg เลือก Actor:Face ที่ Link มาจาก Rokoko และติ้กถูกที่ Use ARkit Face เพียงแค่นี้การเชื่อมการ Link Motion ก็ทำงานแล้ว รองรับทั้งการเคลื่อนไหว
แบบ Real-Timeและ Motion ที่อัดไว้

 

ผลลัพธ์การใช้ Facial Mocap สร้างการเคลื่อนไหวให้ Digital Human เป็นท่าทางต่างๆ

นอกากเก็บข้อมูลใบหน้าแล้วยังสามารถเก็บท่าทางการเคลื่อนไหวของร่างกายด้วย Rokoko Smart Suit Pro II และ Rokoko Smart Gloves โดยท่าทางเหล่านี้ เราสามารถนำไปสร้าง
เป็น Database ท่าทางการแสดงออกทางสีหน้าต่างๆ เพื่อเป็นคลังข้อมูลให้ตัวละคร AI สามารถดึงไปใช้ในการแสดงออกด้วยตัวเองได้

 

สินค้าที่เกี่ยวข้อง