ภาพถ่าย

ตัวอย่างเช่น เก้าอี้ในรูปถ่ายของห้องนั่งเล่นสามารถหมุนกลับด้านหรือคว่ำลงในภาพถ่ายได้ โดยแสดงให้เห็นด้านข้างของเก้าอี้ที่อาจถูกซ่อนจากกล้อง แต่ก็ดูสมจริง การจัดการวัตถุแบบสามมิติในภาพถ่ายสองมิติเพียงภาพเดียวนี้เป็นไปได้เพราะแบบจำลองเชิงตัวเลข 3 มิติของวัตถุในชีวิตประจำวันจำนวนมาก เช่น เฟอร์นิเจอร์ เครื่องครัว รถยนต์ เสื้อผ้า เครื่องใช้ต่างๆ มีให้บริการทางออนไลน์ ทีมวิจัยที่นำโดย Yaser Sheikh รองศาสตราจารย์ด้านการวิจัยหุ่นยนต์พบว่าพวกเขาสามารถสร้างการแก้ไขที่เหมือนจริงโดยการปรับโมเดลเหล่านี้ให้เข้ากับรูปทรงเรขาคณิตของภาพถ่าย จากนั้นใช้สี พื้นผิว และแสงที่สอดคล้องกับภาพถ่าย Natasha Kholgade, Ph.D. กล่าวว่า "ในโลกแห่งความเป็นจริง เราเคยชินกับการหยิบจับสิ่งของ ไม่ว่าจะเป็นการยก หมุน หรือกระแทก" นักศึกษาใน Robotics Institute และผู้เขียนนำของการศึกษา "เราได้สร้างสภาพแวดล้อมที่ให้อิสระเช่นเดียวกันกับคุณเมื่อแก้ไขรูปภาพ" Kholgade จะนำเสนอข้อค้นพบของทีมในวันที่ 13 สิงหาคมที่งาน SIGGRAPH 2014 Conference on Computer Graphics and Interactive Techniques ในเมืองแวนคูเวอร์ ประเทศแคนาดา วิดีโอสาธิตระบบใหม่สามารถดูได้ที่เว็บไซต์โครงการที่http://www.cs.cmu.edu/~om3d/ แม้ว่าระบบจะออกแบบมาเพื่อใช้กับภาพดิจิทัล แต่ก็สามารถจัดการวัตถุ 3 มิติในภาพเขียนและใน ภาพถ่าย ประวัติศาสตร์ได้เช่นเดียวกัน วัตถุที่สามารถจัดการในภาพถ่ายยังสามารถเคลื่อนไหวได้ นักวิจัยได้แสดงให้เห็นว่า นกโอริกามิที่ถืออยู่ในมือสามารถกระพือปีกและบินหนีไปได้ หรือรถแท็กซี่ที่แสดงอยู่ในฉากท้องถนนสามารถลอย พลิกกลับเพื่อเผยให้เห็นโครงด้านล่างและพุ่งทะยานขึ้นสู่สวรรค์ได้ "แทนที่จะแค่แก้ไข 'สิ่งที่เราเห็น' ในภาพถ่าย เป้าหมายของเราคือปรับแต่ง 'สิ่งที่เรารู้' เกี่ยวกับฉากหลังของภาพถ่าย" โคลเกดกล่าว นักวิจัยคนอื่น ๆ ได้ใช้การแบ่งส่วนตามความลึกเพื่อทำการเปลี่ยนมุมมองในภาพถ่ายหรือใช้การสร้างแบบจำลองของวัตถุที่ถ่ายภาพ แต่วิธีการทั้งสองไม่สามารถเปิดเผยพื้นที่ที่ซ่อนอยู่ได้ อีกทางเลือกหนึ่งคือการแทรกวัตถุ 2 มิติหรือ 3 มิติใหม่ลงในภาพถ่าย แต่วิธีเหล่านั้นจะละทิ้งข้อมูลจากภาพถ่ายต้นฉบับเกี่ยวกับการจัดแสงและลักษณะภายนอก ดังนั้นผลลัพธ์ที่ได้จึงน้อยกว่าที่ไร้รอยต่อ หนึ่งในสิ่งที่จับต้องได้ของการใช้โมเดล 3 มิติที่เผยแพร่ต่อสาธารณะก็คือ โมเดลนั้นแทบจะไม่พอดีกับภาพถ่ายเลย การเปลี่ยนแปลงเกิดขึ้นระหว่างแบบจำลองและวัตถุทางกายภาพ วัตถุในชีวิตจริง เช่น เบาะรองนั่งและเป้สะพายหลัง บางครั้งอาจเสียรูปทรงเมื่อใช้งาน และลักษณะที่ปรากฏอาจเปลี่ยนไปเนื่องจากอายุการใช้งาน สภาพอากาศ หรือแสง เพื่อแก้ไขความผันแปรเหล่านี้ นักวิจัยได้พัฒนาเทคนิคในการจัดกึ่งอัตโนมัติให้กับโมเดลตามรูปทรงเรขาคณิตของวัตถุในภาพถ่าย โดยยังคงรักษาความสมมาตรของวัตถุเอาไว้ จากนั้นระบบจะประเมินการส่องสว่างของสิ่งแวดล้อมและลักษณะของส่วนที่ซ่อนอยู่ของวัตถุโดยอัตโนมัติ - ด้านที่มองเห็นได้ของเบาะรองนั่งหรือกล้วยจะถูกใช้เพื่อสร้างลักษณะที่น่าเชื่อถือสำหรับฝั่งตรงข้าม หากภาพถ่ายไม่มีข้อมูลรูปลักษณ์ที่เกี่ยวข้อง เช่น ด้านล่างของรถแท็กซี่ ระบบจะใช้รูปลักษณ์ของโมเดล 3 มิติในสต็อก แม้ว่าจะมีโมเดลสต็อกมากมายให้เลือกทางออนไลน์ แต่โมเดลอาจไม่พร้อมใช้งานสำหรับทุกวัตถุในภาพถ่าย แต่ข้อจำกัดดังกล่าวมีแนวโน้มที่จะบรรเทาลง โดยเฉพาะอย่างยิ่งเมื่อเทคโนโลยีการสแกนและการพิมพ์ 3 มิติกลายเป็นที่แพร่หลาย “คำถามเร่งด่วนที่จะเกิดขึ้นเร็วๆ นี้ ไม่ใช่ว่ารุ่นใดรุ่นหนึ่งมีอยู่จริงทางออนไลน์หรือไม่ แต่อยู่ที่ว่าผู้ใช้จะหามันเจอหรือไม่” Sheikh กล่าว แรงผลักดันอย่างหนึ่งของการวิจัยในอนาคตจะต้องทำการค้นหาโมเดล 3 มิติโดยอัตโนมัติในฐานข้อมูลนับล้าน