इनसाइड पिंसस्क्रीन सीक्रेटिव ऑगमेंटेड रियलिटी एंड सीजीआई

संवर्धित वास्तविकता और चेहरे की अदला-बदली अगले मोबाइल एप्लिकेशन के लिए गर्म उम्मीदवार लगते हैं; केवल MSQRD की फेसबुक की खरीद या लुकशिप के स्नैपचैट के अधिग्रहण को देखें। लेकिन एक एआर स्टार्टअप, जिसे पिंसस्क्रीन कहा जाता है, वर्तमान में लक्स कैपिटल और कॉलोप्ले वीआर फंड से $ 1.8 मिलियन की धुन के साथ समर्थित है, इस क्षेत्र में चीजों को अलग तरह से करना चाहता है। श्लोक में इस गुप्त कंपनी के लिए आगे क्या हो सकता है, इसके बारे में पिंसस्क्रीन के संस्थापक हाओ ली से विशेष रूप से बात की।

आपने हाओ ली के बारे में नहीं सुना होगा, लेकिन आपने संभवतः कई ब्लॉकबस्टर फिल्मों में एक्शन के लिए इस यूएससी असिस्टेंट प्रोफेसर के शोध को देखा होगा। विजुअल इफेक्ट्स स्टूडियो इंडस्ट्रियल लाइट एंड मैजिक में काम करते हुए, ली ने कुछ ऐसे उपकरण विकसित करने में मदद की, जो वास्तविक समय में प्रदर्शन पर कब्जा करने में सक्षम थे। यह विचार था कि एक अभिनेता एक वेब कैमरा के साथ एक कंप्यूटर के सामने बैठ सकता है, एक दृश्य को अभिनय कर सकता है, और फिर उस प्रदर्शन का अनुवाद किया जाएगा - वास्तविक समय में - एक सीजी चरित्र के लिए।

ली ने अन्य क्षेत्रों में भी व्यापक शोध किया है, जिसमें वास्तविक समय में वास्तविक लोगों के 3 डी मॉडल का क्राफ्टिंग, और उनकी समानता के महत्वपूर्ण हिस्सों को कैप्चर करना शामिल है, खासकर चेहरे और बाल। हाल ही में, ली ने अनुसंधान को दिखा दिया कि उन्होंने और अन्य लोगों ने सिर्फ एक कैमरे से एक व्यक्ति के प्रदर्शन को कैप्चर करने और एक डिजिटल चरित्र में अनुवाद किया।

सबसे पहले, यह इतना उपन्यास नहीं लगता है। विकास में फेस ट्रैकिंग समाधान पहले से ही मौजूद हैं, दोनों मोबाइल ऐप और बहुत अधिक परिष्कृत प्रणालियों जैसे कि फेसलिफ्ट (2015 में Apple द्वारा खरीदे गए)। लेकिन इनमें से कई गहराई सेंसर पर निर्भर हैं, जिनके लिए ली की तकनीक की आवश्यकता नहीं है। वह दृष्टिकोण, वह कहता है, बहुत अलग है।

"यदि आपके पास एक गहराई संवेदक है, तो आपको बस एक फेस मॉडल के मापदंडों को अनुकूलित करना होगा ताकि मॉडल 3 डी इनपुट को यथासंभव पास कर सके", ली बताते हैं। "लेकिन शुद्ध आरजीबी इनपुट के मामले में, पूरे विश्व को फोकल लंबाई जैसे ज्ञात कैमरा मापदंडों के बिना दो आयामी छवि पर पेश किया जाता है। इसलिए एक सटीक 3D फेस मॉडल को इस अनुमानित छवि से निकालने की आवश्यकता है और प्रकाश व्यवस्था की एक विस्तृत श्रृंखला के साथ-साथ विभिन्न विषयों के दिखावे को संभालने में सक्षम होना चाहिए।"

इसलिए 3 डी अवतार पर ली के शोध का महत्व। जब मानव के चेहरे की मैपिंग की जाती है, तो बहुत सारे मैपिंग प्रोग्रामों को बालों और चश्मे जैसी दृश्य बाधाओं से निपटने में परेशानी होती है। उस समस्या से बचने के लिए, पिंसस्क्रीन ने "एक गहन संवेदी तंत्रिका नेटवर्क का निर्माण किया, जो यह जान सकता है कि एक चेहरे के क्षेत्र को पूरी तरह से असंबंधित छवि में कैसे विभाजित किया जाए।"

तो, क्या वैसे भी इस पागल उन्नत तकनीक का उपयोग कर Pinscreen है?

"हम कुछ दिलचस्प एआर क्षमताओं के साथ एक नए प्रकार के सोशल मीडिया / संचार मंच होंगे," ली कहते हैं। "यह स्नैपचैट लेंस या MSQRD की तरह एक ऐप नहीं है, जो ज्यादातर लोगों के लिए केवल कुछ मिनटों के लिए दिलचस्प है।"

इसलिए, अब के लिए buzzwords से अधिक नहीं है। लेकिन, गहराई से देखने पर, उनके पूर्व काम से पता चलता है कि वे किसी भी बाल, चश्मा या अन्य वस्तुओं के बावजूद किसी के चेहरे को ट्रैक करने की क्षमता विकसित करने की उम्मीद कर रहे हैं जो एकल कैमरे के दृश्य में बाधा डाल रहे हैं। कुछ संवर्धित वास्तविकता में जोड़ें, और आकाश फिल्मों, सोशल मीडिया और खेलों के लिए सीमा।

यह ध्वनि के बजाय ज़बरदस्त है, लेकिन यह ध्यान रखना महत्वपूर्ण है कि ली और उनकी टीम इस क्षेत्र में शोध करने वाले एकमात्र व्यक्ति नहीं हैं। डिज़्नी ने हाल ही में रियल-टाइम फेशियल कैप्चर कैप्चर पर अपनी प्रस्तुति दी, जैसा कि फेस 2 फेस नामक टूल के साथ कुछ अन्य शोधकर्ताओं ने किया था। थेरेस ने फेसबुक और स्नैपचैट के साथ-साथ फेसलिफ्ट को भी उतारा है, जिन्होंने अपने माल का प्रदर्शन भी शुरू कर दिया है।

तो क्या पिंसस्क्रीन की तकनीक अलग है? ली का सुझाव है कि उनकी कंपनी का समाधान "बहुत अधिक मजबूत है और अधिक सटीक 3 डी मॉडल का अनुमान लगा सकता है, क्योंकि हम स्पष्ट रूप से अनुमानों को संभालते हैं।"

"हमारा सबसे महत्वपूर्ण नवाचार एक तकनीक है जो हमें किसी भी छवि से बाल सहित एक पूर्ण 3 डी हेड मॉडल बनाने की अनुमति देता है," वह कहते हैं। “इस प्रकार के कार्य के लिए परंपरागत रूप से एक कुशल सीजी मॉडलर और रिगर की आवश्यकता होती है, लेकिन हम इसे पूरी तरह से स्वचालित रूप से उत्पन्न कर सकते हैं। SIGGRAPH (अग्रणी कंप्यूटर ग्राफिक्स और इंटरेक्टिव तकनीक सम्मेलन) में प्रस्तुत किए गए नवीनतम पत्रों में इनपुट के रूप में कई इनपुट छवियों की भी आवश्यकता होती है - हम न्यूनतम इनपुट आवश्यकता, एक एकल 2D छवि के साथ समाधान पर ध्यान केंद्रित करते हैं।"

बेशक, जब तक लोग पिंसस्क्रीन के किसी भी ऐप को नहीं देखेंगे और उसका उपयोग करेंगे, जूरी अपनी क्षमताओं के बारे में बाहर रहेगा। हालांकि, अंतर यह है कि ली के पास निश्चित रूप से अनुसंधान और नवाचार का एक ठोस इतिहास है, विशेष रूप से डिजिटल अवतार के क्राफ्टिंग में।

ली सोशल मीडिया स्पेस में पिंसस्क्रीन की संभावनाओं के बारे में स्पष्ट रूप से आश्वस्त हैं। "जैसा कि हमारी तकनीक 3 डी अवतारों की पीढ़ी का लोकतंत्रीकरण करेगी, इसमें गेम में वीआर / एआर एप्लिकेशन, इमर्सिव कम्युनिकेशन या एआई एजेंटों के लिए स्पष्ट एप्लिकेशन होंगे," वे कहते हैं, "लेकिन मुझे लगता है कि हम सबसे अच्छे एप्लिकेशन खुद बनाएंगे, जो सामाजिक औसत दर्जे का मंच जिसे हम विकसित कर रहे हैं।

"सबसे महत्वपूर्ण बात," वह कहते हैं, "हम कुछ ऐसा निर्माण करना चाहते हैं जो लोगों को आज के महंगे वीएफएक्स पाइपलाइन की आवश्यकता के बिना वास्तव में दिलचस्प सामग्री बनाने की अनुमति देता है और एक दूसरे से जुड़ने के लिए वास्तव में मजेदार एआर सामग्री का उपयोग कर सकता है।"

ऐसा लगता है जैसे कि पिंसस्क्रीन में प्रौद्योगिकियों की श्रेणी शामिल होगी ली और उनकी टीम काम कर रही है। लेकिन, वह कहते हैं, यह योजना का केवल एक हिस्सा है। उन्होंने कहा, "टेक डेमो वास्तव में केवल एक फीचर है जिसे हम इस्तेमाल करने की योजना बना रहे हैं।" “पिंसस्क्रीन कुछ अधिक बड़ा होगा और तकनीक शुरुआत में एक दिलचस्प विशेषता होगी। हम अन्य सोशल मीडिया प्लेटफॉर्म से भी काफी अलग होंगे। ”

अभी के लिए, पिंसस्क्रीन अभी भी एक रहस्य है और ऐसा लग रहा है कि हमें बस यह देखने के लिए इंतजार करना होगा कि उनके पास क्या है।