Google เผยรายละเอียดเทคโนโลยีที่อยู่เบื้องหลังคุณสมบัติการถ่ายภาพ Portrait Light ขั้นเทพของ Pixel และ Google Camera !!!!

คุณสมบัติใหม่ของ Google Camera ซึ่งทำให้แตกต่างจากสมาร์ทโฟน Android อื่นๆในตลาด ได้แก่ระบบกล้อง ซึ่งมี Cinematic Pan สำหรับการแพนวิดีโอแบบไม่สั่นไหว, โหมด Locked และ Active Stabilization , การรองรับ Night Sight ในโหมดถ่ายภาพบุคคล และคุณสมบัติ Portrait Light เพื่อปรับแสงในการถ่ายภาพบุคคลอัตโนมัติ  

และตอนนี้บริษัทได้แบ่งปันรายละเอียดบางอย่างเกี่ยวกับเทคโนโลยีที่อยู่เบื้องหลังคุณสมบัติ Portrait Light

ตามบล็อกโพสต์ล่าสุดของบริษัท ฟีเจอร์ Portrait Light ได้รับแรงบันดาลใจจากไฟนอกกล้องที่ช่างภาพบุคคลใช้  ช่วยเพิ่มการถ่ายภาพบุคคล โดยการสร้างแบบจำลองแหล่งกำเนิดแสงที่ปรับเปลี่ยนตำแหน่งได้ ซึ่งสามารถเพิ่มลงในฉากได้  เมื่อเพิ่มโดยอัตโนมัติ แหล่งกำเนิดแสงประดิษฐ์จะปรับทิศทางและความเข้มโดยอัตโนมัติเพื่อเสริมแสงที่มีอยู่ของภาพถ่ายโดยใช้การเรียนรู้ของเครื่อง

ตามที่ Google อธิบาย คุณลักษณะนี้ใช้ประโยชน์จากโมเดลแมชชีนเลิร์นนิงใหม่ ที่ได้รับการฝึกฝนโดยใช้ชุดข้อมูลที่หลากหลายของภาพถ่ายที่ถ่ายในระบบไฟส่องสว่างในการคำนวณ Light Stage โมเดลเหล่านี้เปิดใช้งานความสามารถของอัลกอริทึมสองแบบ

1.การจัดวางแสงทิศทางอัตโนมัติ : ตามอัลกอริธึมการเรียนรู้ของเครื่อง คุณลักษณะนี้จะวางแหล่งกำเนิดแสงเทียมโดยอัตโนมัติ ซึ่งสอดคล้องกับวิธีที่ช่างภาพมืออาชีพจะวางแหล่งกำเนิดแสงนอกกล้องในความเป็นจริง

2.การปรับความสัมพันธ์หลังการถ่ายภาพสังเคราะห์ : ขึ้นอยู่กับทิศทางและความเข้มของแสงที่มีอยู่ในการถ่ายภาพบุคคล อัลกอริทึมการเรียนรู้ของเครื่องจะเพิ่มแสงสังเคราะห์ที่ดูสมจริงและเป็นธรรมชาติ

สำหรับการจัดวางแสงทิศทางอัตโนมัติ Google ได้ฝึกโมเดลแมชชีนเลิร์นนิงเพื่อประเมินช่วงไดนามิกสูงและโปรไฟล์การส่องสว่างรอบทิศทางสำหรับฉาก โดยอิงจากภาพบุคคลที่ป้อนเข้าในระบบ  แบบจำลองการประมาณแสงใหม่นี้สามารถค้นหาทิศทางความเข้มสัมพัทธ์และสีของแหล่งกำเนิดแสงทั้งหมดในฉากที่มาจากทุกทิศทางโดยพิจารณาจากใบหน้าเป็นตัววัดแสง  

เมื่อกำหนดทิศทางและความเข้มของแสงสังเคราะห์แล้วโมเดลแมชชีนเลิร์นนิงชุดถัดไปจะเพิ่มแหล่งกำเนิดแสงสังเคราะห์ให้กับภาพถ่ายต้นฉบับ ซึ่งตัวโมเดลได้รับการฝึกฝนโดยใช้ภาพบุคคลหลายล้านภาพ ทั้งที่มีและไม่มีไฟเสริม 

 

ชุดข้อมูลนี้สร้างขึ้นโดยการถ่ายภาพบุคคลที่แตกต่างกันเจ็ดสิบคน โดยใช้ระบบส่องสว่างในการคำนวณ Light Stage ซึ่งเป็นอุปกรณ์จัดแสงทรงกลมที่มีกล้อง 64 ตัวพร้อมมุมมองที่แตกต่างกันและแหล่งกำเนิดแสง LED ที่ตั้งโปรแกรมแยกกัน 331 จุด

แบบทั้ง 70 คน ถูกถ่ายภาพในขณะที่ส่องสว่างทีละครั้ง (OLAT) โดย LED 331 ดวง แต่ละดวงทำให้เกิดสนามสะท้อนแสง นั่นคือลักษณะที่ปรากฏเมื่อส่องสว่างโดยส่วนที่ไม่ต่อเนื่องของสภาพแวดล้อมทรงกลม การสะท้อนแสงได้เข้ารหัสสีที่เป็นเอกลักษณ์และคุณสมบัติการสะท้อนแสงของผิวหนัง , ผม และ เสื้อผ้าของตัวแบบและกำหนดว่าวัสดุแต่ละชนิดมีความเงาหรือหมองเพียงใดในภาพถ่าย

นอกจากนี้ Google ยังฝึกโมเดลแมชชีนเลิร์นนิงเพื่อเลียนแบบพฤติกรรมทางแสงของแหล่งกำเนิดแสงที่สะท้อนพื้นผิวที่ค่อนข้างด้าน  ในการทำเช่นนั้น บริษัทได้ฝึกโมเดลเพื่อประมาณค่าปกติของพื้นผิวจากภาพถ่ายที่ป้อน จากนั้นใช้กฎของแลมเบิร์ตเพื่อคำนวณ “แผนที่การมองเห็นแสง” สำหรับทิศทางแสงที่ต้องการ  

แม้ว่าทั้งหมดนี้อาจดูเหมือนเป็นกระบวนการที่ใช้เวลานานซึ่งจะต้องใช้เวลาในการประมวลผลฮาร์ดแวร์ที่ดูซับซ้อน แต่ Google อ้างว่า คุณสมบัติ Portrait Light ได้รับการปรับให้ทำงานในอัตราเฟรมแบบโต้ตอบบนอุปกรณ์เคลื่อนที่  ซึ่งขนาดโมเดลรวมต่ำกว่า 10MB เท่านั้น รวมถึงใช้เวลาในระดับ มิลลิวินาที เท่านั้น 

Source : XDA

Article By : โลกไอทีวันนี้