ریگ صورت با Facial Motion capture

یکی از راه کارهایی که برای ساخت و ایجاد متحرک سازی دقیق و درست اجزای صورت مورد استفاده قرار میگیرد، سیستم ها و نرم افزارهای کپچرینگ می باشد که در این نوشتار به بررسی برخی از این ابزار در رده ریگ صورت با Facial Motion capture خواهیم پرداخت.

 همانطور که میدانید یکی از کارهای پیچیده و پر زحمت، متحرک سازی حرکات صورت است. احساس خوشحالی، ناراحتی، تعجب و … از جمله مواردی است که یک متحرک ساز می بایست در ساخت انیمیشن خود مورد نظر بگیرد.

آشنایی با روشهای ریگ صورت با Facial Motion capture

سیستم ها و نرم افزارهای کپچرینگ صورت یا Facial Motion Capture به دو بخش کلی تقسیم می شوند. گروه اول سیستم های هستند که جهت تشخیص حرکات اجزاء صورت از علامت ها و  نشانه ها استفاده می کنند که به آنها Marker-based گویند  و گروه دوم سیستم هایی که نیاز به علامت و نشانه برای تشخیص حرکات اجزاء صورت ندارند که با آنها MarkerLess   گویند.  

در همین ابتدای کار عرض کنم که هر کدام از این دو گروه مزایا و معایبی دارند که در نتیجه آن کاربران بسیار زیادی را میتوانید در هر دو گروه پیدا کنید. پس نیمتوان به صرف اینکه یک نرم افزار نشانه محور می باشد و یا اینکه بدون علامت ها اقدام به کپچرینگ صورت میکند، آن سیستم را قدرتمند و یا ضعیف بشمریم.

امروزه در فیلم ها و انیمیشن های حرفه ای اصولا ( بدون شک) از Facial Motion Capture    استفاده می شود. در فیلم ها، انیمیشن ها ، بازی ها و برنامه های تلویزیونی RealTime   ، از Facial Motion Capture    بهترین استفاده را می برند تا بتوانند یک متحرک سازی کامل از عواطف و احساسات را به صورت کاراکتر منتقل کنند. از آنجایی که صورت شخصیت های انیمیشن و فیلم، یکی از مهمترین و تاثیر گذارترین بخش های انیمیشن می باشد، استفاده از Facial Motion Capture    هر روز بیشتر و بیشتر خواهد شد.

در هر دو گروه از این سیستم ها، دوربین مهمترین عامل و تعیین کننده کیفیت کار می باشد. در مرحله بعد سیستم تشخیص دهنده حرکات و جابجایی های اعضای صورت است که به صورت سخت افزاری، نرم افزاری و سخت افزاری-نرم افزاری می باشد. در پایان نیز نرم افزارهای وجود دارد که امکانات نهایی را در اختیار کاربران قرار می دهد. برای شروع توضیحات از گروه Marker-Based Facial Motion Capture   شروع خواهیم کرد. سیستم ها و نرم افزارهای این دسته بر اساس نقاط یا علامت های موجود بروی صورت  شخصیت واقعی ، موقعیت و میزان جابجایی هر عنصر صورت را تشخیص داده و آن را ذخیره میکند تا کاربر بتواند این جابجایی های را به صورت کاراکتر اصلی منتقل کند.

در این دسته ، شخصیت واقعی با قرار دادن یک سری نشانه که عموما به صورت دایره، مربع و علامت   +   های هم رنگ ( متضاد با رنگ پوست کاراکتر ) بروی قسمت هایی از صورتش، در جلوی دوربین های تعبیه شده برای این کار قرار می گیرد.

در بخش از سیستم های دوربین با یک چارچوب به روبروی صورت شخصیت بسته می شود و در برخی از مدلها شخصیت آزاد بوده و خود را در جلوی دوربین قرار می دهد.در این بخش دو نوع کلی دوربین وجود دارد. یک دوربین های عادی در ابعاد و اشکال مختلف که میتواند به صورت کاراکتر متصل شود و یا اینکه روی سه پایه  و یا دست قرار گیرد و … و نوع دوم دوربین هایی است که ویژه عملیات Tracking & Capturing   ساخته شده اند. 

دوربین عادی، فقط وظیفه انتقال تصاویر به رایانه را به عهده دارند. پس در صورتی که هر نوع دوربینی در منزل دارید میتوانید از آن جهت ورودی دوربین استفاده نمایید حتی دوربین های موبایل . حال هرچه دوربین شما از کیفیت   (resolution)   بالاتری برخوردار باشد کیفیت و دقت کار شما بالاتر می رود.

در نوع دوم که از دوربین های ویژه این کار استفاده یک تفاوت عمده با دوربین های معمولی خواهد داشت. این دوربین های که به نام دوربین های Motion Capture Camera   معروف هستند علاوه بر دریافت تصاویر و انتقال آنها دارای یک پردازنده ویژه می باشند که کار پردازش تصویر را نیز بروی تصاویر انجام می دهد.

عموما از رزولوشن های بالایی برخوردار هستند که هر چه کیفیت تصویر آنها بیشتر می شود قیمت آنها نیز تصاعدی افزایش می یابد.  اما مهمترین عامل و خصیصه دوربین های Motion Capture Camera    در تعداد فریم های قابل دریافت در ثانیه می باشد. این دوربین های برای اینکه بتوانند دقت بیشتری در شناسایی علامت های   (Markers)    روی صورت داشته باشند عموما بیش از 90 فریم در ثانیه   (90 fps)   تصاویر را دریافت میکنند.

با توجه به اینکه دوربین های عادی و معمولی بیش از 30 فریم در ثانیه تصاویر را دریافت نمیکنند، دوربین های ویژه این کار در مدلهای   90fps, 120fps,160fps,180fps,220fps    و بیشتر می باشند. هر چه تعداد فریم های دریافتی بیشتر باشد، پیدا کردن موقعیت Marker ها ساده تر و دقیقتر خواهد شد.

این دوربین های علاوه بر خصوصیات ذکر شده دارای ورودی و خروجی شبکه با سرعت بالا ( Gigabit ) می باشند و همزمان با دریافت تصاویر آنها را به کامپیوتر منتقل می کنند.این دسته از دوربین های عموما به تکنولوژی های دیگری نیز مجهز شده اند. برای مثال اکثر آنها ، دارای تعداد زیادی LED های متنوع دور لنز دوربین هستند.

این LED ها که سمبل دوربین های Capturing هستند کار تامین روشنایی ، حذف سایه، بازگشت نور از Marker ها  و … را به عهده دارند. نوری که این LED ایجاد میکنند دارای یک طیف منحصر به فرد است که با برگشت آن از سوی Marker ها و پوست صورت، به راحتی توسط لنز دوربین تشخیص داده می شود.

در اینجا همانطور که متوجه شدید دو نوع Marker وجود خواهد داشت. نوع Passive(غیر فعال) و نوع Active (فعال)  . نوع Passive علامت هایی هستند که شما میتوانید در منزل و محل کار آنها را ایجاد کنید. مارکرهای غیر فعال از هر جنسی میتوانند ایجاد شوند. فقط کافی است که رنگ  این مارکر ها با رنگ پوست صورت کاراکتر شما متمایز باشد تا به راحتی قابل تشخیص و Tracking باشند.  اما نوع مارکرهای فعال از جنسی هستند که با LED های اطراف لنز همخوانی داشته و بازگشت نور آنها توسط پردازشگر دوربین به سادگی تشخیص داده خواهد شد.

این نوع مارکرهای توسط شرکت سازنده دوربین در زمان خرید به شما تحویل داده خواهد شد. مارکرهای فعال و غیر فعال به تعداد مورد نیاز بروی صورت کاراکتر چسبانده خواهد شد و توسط دوربین های معمولی یا Motion Capture Camera تصویر آنها به طرق مختلف به کامپیوتر منتقل خواهد شد.

البته سه نوع دیگر Marker وجود دارد که امروزه دیگر از آنها استفاده نمی شود. عموما این علامت ها از 8 تا 300 عدد می توانند باشند . امروزه با توجه به الگوریتم هایی که برای این منظور ابداع شده است تعداد این علامت ها عموما بین 8 تا 16 عدد می باشد. در این نوع ، عموما از بیش از یک دوربین در زوایای مختلف استفاده میکنند که کیفیت و دقت ترکینگ بالاتر رود. از این به بعد ، بقیه کار به عهده نرم افزارهای مربوطه می باشد. اما قبل از اینکه بخواهیم این بحث را ادامه دهیم بهتر است که نوع MarkerLess را نیز بررسی نماییم.

در موشن کپچر صورت از نوع بدون علامت یا MarkerLess شاهد آن هستیم که صورت شخصیت بازیگر، مستقیم و بدون هیچ علامتی در جلوی دوربین قرار میگیرد. با توجه به اینکه علامتی بروی صورت کاراکتر وجود ندارد، شخصیت اصلی میتواند آزادانه هر حرکتی را انجام دهد.

پس علامتی وجود ندارد که از روی آن  بتوان حرکات اجزاء صورت را تشخیص داد، در عوض تمام صورت برای اینکار مورد پیمایش قرار خواهد گرفت. در صورت بجای چند marker از تمام صورت یعنی میلیون ها نقطه استفاده می کنیم. این کار به کاربران کمک میکند که نهایت دقت و کیفیت را در حرکات صورت داشته باشند.

در روش Markerless نیاز به بیش از یک دوربین می باشد . یعنی در این روش الزاما باید از دوربین های بیشتری در زوایای مختلف استفاده کرد تا بتوان عمق نقاط را به درستی مشخص کرد. این روش با الگوریتم های زیادی پردازش می شود که عموما از 3 ،5 و هفت دوربین برای اینکار استفاده میکنند.

در روش Markerless کار اصلی را نرم افزار capturing انجام می دهد. این نرم افزار است که از ورودی دوربین ها به صورت فریم به فریم تشخیص میدهد اجزا صورت چه تحرکاتی را داشته اند و در نهایت، مدل سه بعدی صورت به همراه تمامی حرکات و جابجایی های جزیی را بدست می آورد. نمونه بارز و بسیار مشهور این روش فیلم “سرگذشت عجیت بنجامین باتن ” می باشد. در این فیلم تمام مدت صورت براد پیت بازیگر اصلی توسط روش markerless اسکن شده و مدل سه بعدی آن به همراه حرکات صورت استخراج می شد.

در روش الگوریتم های بسیار زیادی وجود دارد که در نهایت، نرم افزارهای متنوعی هم به وجود می آیند که از یک یا چند الگوریتم برای پردازش و استخراج اطلاعات از تصاویر بدست آمده استفاده میکنند.عموما شرکت های تولید کننده تجهیزات Motion Capturing امکانات Facial motion capture را نیز ارائه می دهند. برای مثال یکی از شرکت های معروف که تصاویر محصولات آن را نیز در بالا مشاهده کردید،

شرکت optiTrack می باشد که فیلم ها و انیمیشن های بسیار زیادی را توسط محصولات آن تولید کرده اند. Kinect مایکروسافت یکی دیگر از محصولاتی است که با قیمت بسیار پایین نیاز بسیاری از استودیوهای کوچک را رفع میکند. در بخش تازه های رندرینگ در سایت مازستا، تعدادی از نرم افزارهای مطرح در زمینه کپچرینگ صورت را معرفی کرده ام که میتوانید با یک جستجوی ساده به آنها دسترسی داشته باشید.