In-Camera VFX چیست ؟

In-camera VFX از تکنولوژی LED و رندر کردن بلادرنگ (Real-time Rendering) برای ایجاد محیط های مجازی در زمان فیلم برداری استفاده می کند.

یک صفحه نمایش LED بزرگ در محیط فیلمبرداری قرار می گیرد که تصاویر یا زمینه های مجازی را نمایش می دهد. این صفحه نمایش به یک رایانه متصل است که محیط های 3D را به صورت Realtime رندر می کند. روش In-Camera، این امکان را فراهم می کند تا تغییرات در نور، زاویه دوربین یا حرکت بازیگران در هنگام فیلمبرداری در محیط مجازی بازتاب پیدا کند.

Virtual Production چیست؟

اگر بخواهید In-Camera را بهتر درک کنید، می بایست با VP آشنا شوید. تولید مجازی (Virtual Production ) روشی است که در آن پس زمینه‌ها بجای قرار گرفتن در بخش کامپوزیت و بعد از فیلم برداری، در صحنه‌های واقعی و در زمان فیلم برداری ظاهر می‌شوند.

در این روش از دنیاهای مجازی استفاده می‌شود و یک صفحه نمایش که عموما به آن LED گفته می شود، پشت دوربین قرار می‌گیرد و با توجه به حرکات دوربین، واکنش های مربوط به تغییر زاویه و … محیط پس زمینه را نمایش میدهد.

این باعث می‌شود تا آنچه در نمایشگر دوربین و صحنه دیده می‌شود به صورت کاملاً قابل تنظیم و سفارشی شده باشد و می‌توان آن را برای هر لحظه تصویربرداری، همگام با دوربین تغییر وتنظیم کرد. برای کالیبراسیون صحیح این سیستم‌ها، لازم است که روش‌های مرتبط با آنها به طور استاندارد و منظمی ساخته و توسعه داده شود.

بخصوص در زمینه پایپ‌لاین و پردازش رنگ، این سیستم‌ها بسیار پیچیده هستند، زیرا باید چنان رنگ دقیقی داشته باشند که نیاز به هیچ Color Grading جداگانه ای نداشته باشد. در غیر اینصور تصویر نمایش داده شده با کاراکتر یا صحنه در حال فیلم برداری کاملا قابل تشخیص از یک دیگر خواهند بود.

برای رندرینگ این صحنه‌ها از یک موتور Realtime Rendering با قابلیت شبیه سازی استفاده می شود که در این زمینه Unreal Engine بشدت مورد استفاده قرار میگیرد.

این نرم‌افزار به همراه افزونه های خاص، برای پیش‌نمایش و تصویرسازی قبلی و کالیبراسیون صحنه استفاده می شود. این افزونه ها، امکان تنظیمات متنوعی از جمله نمایش صحنه، تنظیمات حسگر دوربین و موقعیت دقیق دوربین و دیوار LED را فراهم می‌کنند. این اطلاعات برای برنامه ریزی دقیق در محیط تولید استفاده می‌شوند تا در زمان ورود به صحنه، به طور دقیق مشخص شود که باید چه کاری انجام شود.

یکی از سخت ترین بخش های مهم در Virtual Production، تطابق دوربین با تنظیمات نور، رنگ و موقعیت فیزیکی آن است. برای این منظور، از سیستم‌های ردگیری دوربین استفاده می‌شود تا موقعیت دقیق دوربین‌های واقعی را در فضای فیزیکی شناسایی کرده و موقعیت واقعی آنها را به دوربین مجازی درون موتور رندر اعلام کنند.

در نتیجه وقتی دوربین در فضای واقعی حرکت میکند، مطابق آن، دوربین مجازی در فضای مجازی، که توسط یک موتور رندرینگ مانند آنریل انجین در حال پردازش است نیز، جابجا می شود.

برای این منظور از دستگاهی پردازشی و ردگیری مسیر حرکت استفاده می شود. هر چه دقت این سنسورها بیشتر باشد، هزینه بسیار بیشتری را به تیم تولید تحمیل میکنند.

همچنین، اطلاعات لنز نیز در این سیستم جمع آوری می‌شود. اگر لنزهای حرفه‌ای با این امکانات مورد استفاده قرار بگیرند، اطلاعات فاصله کانونی و دیافراگم به صورت مستقیم از دوربین دریافت می‌شود و به صورت کامل به دوربین مجازی منتقل شده تا حداکثر تطابق ممکن را بین تصویر فیلم برداری شده و تصویر مجازی در حال رندر داشته باشند.

نتیجه نهایی این فرآیند پیچیده و بشدت High Tech، تولید یک تصویر نهایی است شامل یک تصویر فیلم برداری شده بروی یک تصویر مجازی است که به صورت کاملا طبیعی نمایش داده می شود.

در این تصویر، یک سیستم حل عمق میدان تمرکز (Depth of Field Focus Solving) نیز پیاده‌سازی شده است که باعث ایجاد تم‌های عمق میدان در دیوار LED می‌شود. در نتیجه در صورتی که فیلم بردار بروی صورت کاراکتر زوم کند، همزمان در پس زمینه افکت Defocus یا ماتی پس زمینه پیاده سازی و رندر میشود، که به هر چه طبیعی تر شدن کار کمک بسیار بزرگی میکند.

این ابزارها به صورت لایه‌ای در Unreal Engine پیاده‌سازی شده‌اند تا به نتیجه‌ای واقع‌گرایانه و شبیه‌سازی شده بهتر، دست یابیم.

هدف از In-Camera VFX چیست؟

In-Camera Visual Effects (ICVFX) یک تکنیک نوآورانه از Virtual Production می باشد.

به عنوان یکی از اصلی‌ترین بخش‌های تولید مجازی، ICVFX به فیلم‌سازان اجازه می‌دهد تا دارایی‌های مجازی(assets) را ضبط کنند و آن‌ها را ببینند، به گونه ای که واقعا در آن فضای مجازی قرار دارند.

با استفاده از In-Camera VFX، می‌توان با استفاده از تکنولوژی LED، یک فرآیند خودکار ایجاد کرد که محتوای مورد نظر در پس زمینه را در حین فیلمبرداری، به صورت زنده در دید دوربین پخش نمود. دوربین قادر است این تصاویر را همانند تصاویری که از دنیای واقعی دریافت میکند ضبط نماید.

ICVFX یا In-Camera VFX در مقایسه با تکنولوژی صفحه سبز یا آبی، تفاوت‌های قابل توجهی دارد. روش های قدیمی کروماکی، می‌تواند بسیار وقت‌گیر باشد زیرا به یک یا چند اپراتور و متخصص نیاز دارد که کاملاً پس‌زمینه را نسبت به کاراکترها و پیش زمینه جدا کند و جهان مجازی رندر شده را به جای آن قرار دهد. این همان روشی است که سالهای سال است در سینما و تولیدات آن مورد استفاده قرار میگیرد.

In-Camera VFX، یک روش جدید در صنعت ساخت فیلم است که با استفاده از نورپردازی LED، ردیابی دوربین واقعی به صورت Realtime و رندرینگ Realtime محیط مجازی، با پروژکشن غیر محوری، ترکیب باورنکردنی و بی‌نقصی بین بازیگران و عناصر پیش‌زمینه (که با دوربین واقعی در حال فیلم برداری هستند ) و پس‌زمینه‌های مجازی ( که توسط یک موتور رندرینگ به صورت Realtime در حال رندر است ) ایجاد می‌کند.

این تکنیک جدید امکان ضبط تعداد قابل توجهی از شات‌های پیچیده جلوه‌های ویژه، در دوربین با استفاده از تکنولوژی موتور Realtime رندر و صفحات LED اطراف را فراهم می‌کند. این روش اجازه می‌دهد تا مناظر دیجیتال واقع‌گرایانه و مجموعه‌های زنده در حین فیلمبرداری با یکدیگر ترکیب شوند، که به طور قابل توجهی نیاز به صفحه سبز را کاهش می‌دهد و نزدیک‌ترین چیزی است که تا به حال به فناوری سبک “Holo-deck” تجربه شده است.

به عنوان مثال، بیش از 50 درصد از فصل اول “The Mandalorian” با استفاده از این روش جدید فیلمبرداری شده است، که نیاز به ساخت مکان‌های متعدد برای سریال را کاملاً حذف کرده است. به جای اینکه بازیگران در “The Mandalorian” هر بار به یک لوکشین جدید بروند، همگی در یک دیوار و سقف ویدئویی نیم‌دایره‌ای LED بزرگ و فضای اجرایی با قطر 75 فوت بازی کردند، که در نتیجه هزینه و زمان اجرا بیش از حد ممکن کاهش پیدا کرد.

هدف اصلی آن، حذف روش های قدیمی کروماکی مانند صفحه سبز و آبی و … و قرار گرفتن بازیگران و کارگردان در محیطی واقعی تر نسبت به روش های قدیمی vfx است.

تکنیک In-Camera VFX

یکی از چالش‌های تولید مجازی با کیفیت بالا، فناوری لازم برای اجرای همه چیز به صورت همزمان است.

توجه داشته باشید که در این روش باید حرکات دوربین، تغییر زوایا، تغییرات لنز، تغییرات نورپردازی، جابجایی شخصیت ها، تاثیر جابجایی عوامل پیش زمینه بروی پس زمینه و نمایش محیط مجازی و … همه و همه باید به صورت کاملا هماهنگ و بدون کوچکترین وقفه ای انجام شود.

Unreal Engine این روش را از طریق سیستم‌های متعددی مانند nDisplay، Live Link، ویرایش چند کاربره و کنترل از راه دور پشتیبانی می‌کند.

اجزای In-Camera VFX

روش In-Camera دارای بخش های مختلفی است که این بخش ها می بایست در یک کارکرد بی نقص و هماهنگ با هم، باعث ایجاد یک خروجی دقیق و بدون اشکال شوند.

پنل‌های LED در ICVFX

شاید نتوان گفت که مهمترین بخش در ICVFX کدام محور است زیرا همه آنها باید با هماهنگی خاصی با هم فعالیت کنند اما به جرات میتوان گفت که این روش بر کیفیت صفحه نمایش پشت دوربین بشدت حساس خواهد بود.

طراحی مرحله LED و استفاده از آن برای راه‌اندازی In-Camera VFX حیاتی است. تعداد پنل‌های LED که مورد نیاز است و چگونگی چیدمان آن‌ها، مشخص می کند که از چه سخت افزاری باید استفاده نمود تا بتوان به درستی آنها را مدیریت کرد.

پنل‌های LED می‌توانند در یک الگوی قوسی شکل در اطراف بازیگر و در دید دوربین یا دوربین ها قرار بگیرند تا نورپردازی و بازتاب بهتری ارائه دهند. همچنین می‌توان از آن‌ها برای ارائه سقف LED برای کمک به نورپردازی و بازتاب کلی صحنه استفاده کرد.

ردیابی دوربین در In-Camera VFX

ردیابی دوربین برای ثبت و دریافت موقعیت و حرکت دوربین از دنیای واقعی به دنیای مجازی لازم است. با این فناوری، دیدگاه صحیح دوربین را نسبت به محیط مجازی مشخص کرده و آن را با دوربین موجود در فضای مجازی هماهنگ میکنیم.

Live Link در In-Camera VFX

Live Link یک چارچوب در Unreal Engine برای دریافت داده‌های Live، از جمله تمای اطلاعات دوربین‌ها، نورها، تبدیل‌ها و خصوصیات اساسی سیستم است.

برای In-Camera VFX، Live Link نقش حیاتی در توزیع اطلاعات ترکینگ دوربین دارد و می‌تواند برای کار با nDisplay فعال شود تا اطلاعات موقعیت یابی دوربین را به هر گره بخش خودش برای تحلیل و انتقال، نسبت دهد.

کالیبراسیون دوربین در ICVFX

ایجاد ترکیبات دقیق از تصاویر رندر شده مجازی و ویدیوهای زنده، نیازمند یک دوربین مجازی منطبق با دوربین اصلی در Unreal Engine است که بتوانند دقیقا آنچه در واقعیت بروی دوربین اتفاق می افتد را به دوربین مجازی منتقل کند.

OpenColorIO در In-Camera VFX

OpenColorIO، یا OCIO، یک سیستم مدیریت رنگ است که عمدتاً درصنعت فیلم و انیمیشن استفاده می‌شود. این ابزار برای تضمین اینکه رنگ‌ها در تمامی مراحل پردازش و نمایش به درستی حفظ و نمایش داده می‌شوند، استفاده می‌شود.

Unreal Engine از OCIO پشتیبانی می‌کند، که این امکان را فراهم می‌کند تا رنگ‌ها در مراحل مختلف پروژه به طور یکپارچه کنترل شوند. در نتیجه آن، مطمئن خواهید بود که در هیچ بخشی، اختلافی از نظر همسان بودن سیستم رنگی و نمایش آن وجود نخواهد داشت.

مزایای In-Camera VFX

روش ICVFX در سینما و تبلیغات بسیار تاثیر گذار بوده است. مهمترین مزایای این روش نسبت به روش سنتی را میتوان در زیر خلاصه کرد.

کنترل بیشتر بر نورپردازی: با استفاده از In-camera VFX، نور می تواند به طور مستقیم از صفحه نمایش LED منعکس شود، ایجاد نورپردازی واقعی و یکنواخت بر روی بازیگران و محیط اطراف با این روش بسیار ساده تر و اثرگذارتر است.

دید بیشتر برای بازیگران و کارگردان: بازیگران و کارگردان می توانند محیط مجازی را در هنگام فیلمبرداری ببینند، این امر به تعامل طبیعی تر بازیگران با محیط و افزایش کیفیت بازی ها کمک بسیار مهمی می کند.

استفاده از نورپردازی در زمان واقعی، نه تنها به تغییر محیط‌های مجازی، بلکه به تأثیر روشنایی در محیط واقعی نیز کمک می‌کند. این ویژگی، به عنوان یک زمین بازی مجازی، برای فیلم‌برداری به حساب می آید.

چیزی که باید به خاطر داشته باشید این است که دنیای سه‌بعدی که در LED ها نمایش داده می‌شود، یک صحنه‌ی سه‌بعدی است که در Unreal Engine قابل ویرایش است، به این ترتیب فیلمسازان تمام انعطاف‌پذیری را برای تغییر در صحنه، به صورت زنده در اختیار دارند.

کاهش هزینه ها و زمان: به دلیل اینکه افکت های ویژه در هنگام فیلمبرداری ایجاد می شوند، نیازی به ایجاد این افکت در مراحل پس از تولید نیست . در نتیجه هزینه ها بشدت کم شده و در زمان تولید صرفه جویی خواهد شد.

Unreal Engine به عنوان یک پلتفرم کامل طراحی شده است. با استفاده از آن، کارگردان و تصویربردار و سایر اعضای تیم می‌توانند وارد صحنه شده و به طور زنده تغییرات مورد نظر خود را اعمال کنند، به جای اینکه بخواهند ماه‌ها منتظر نتایج تیم های پس از تولید و تغییرات نهایی بمانند.

In-Camera VFX یک روش جدید و قدرتمند برای ایجاد اثرات بصری واقع‌بینانه در صنعت ساخت فیلم است. با استفاده از Unreal Engine، تیم‌های تولید می‌توانند از این فناوری برای ایجاد تصاویر واقع‌بینانه و با کیفیت بالا استفاده کنند. با استفاده از این روش، می‌توان تصاویر CG را به طور مستقیم و بدون نیاز به ترکیب صفحه سبز، در دوربین ضبط کرد. این روش نه تنها کیفیت تصویر را افزایش می‌دهد، بلکه فرآیند تولید را نیز سریع‌تر و کارآمدتر می‌کند.