Apple’ın Depth Pro 2 modeli, tek kameradan videonun derinliğini tahmin ediyor

Murshid — Yerli Tarayıcı. Yapay Zekalı.

Apple’ın araştırma ekibi, sıradan bir kamerayla çekilen fotoğraf ve videolardaki nesnelerin kameraya ne kadar uzak olduğunu tahmin eden Depth Pro 2 modelini paylaştı. 19 Kasım’da arXiv’e yüklenen çalışmayla birlikte modelin kodu ve ağırlıkları da yayımlandı. Model, görüntünün orijinal çözünürlüğünde çalışıyor ve her piksel için metre cinsinden bir uzaklık tahmini üretiyor. arxiv.org

Videoda derinlik neden daha zor?

Bir fotoğrafta masanın kenarını arka plandan ayırmak yeterli olabilir. Videoda ise kamera masanın etrafında dönerken bu sınırın her karede doğru yerde kalması gerekir. Kareleri bağımsız işleyen bir model, tek tek bakıldığında keskin sonuçlar verse bile video oynatıldığında kenarlarda titremeye yol açabilir. Birden fazla kareyi birlikte değerlendirmek titremeyi azaltabilir, ancak ince ayrıntılar bulanıklaşabilir. arxiv.org

Depth Pro 2, tek bir fotoğrafı da bir video dizisini de aynı ağla işliyor. Video işlerken hem her karenin içindeki ayrıntıları hem de kareler arasındaki ilişkileri değerlendiriyor. Apple’ın Sintel ve Spring veri kümelerinde yaptığı karşılaştırmalarda model, nesne sınırlarının keskinliği ve kareler arası tutarlılık ölçümlerinde önceki yöntemleri geride bıraktı. apple-aiml-research.github.io

Bu ne işe yarayabilir?

Bir sokak videosuna sanal bir tabela eklediğinizi düşünün. Kamera hareket ettikçe tabelanın öndeki ağacın arkasında kalması gerekiyor. Derinlik haritasındaki ağaç sınırı kareden kareye kayarsa tabelanın kenarı da titrer. Daha tutarlı bir derinlik haritası, böyle bir efekti sahneye yerleştirmeyi kolaylaştırabilir.

Metre cinsinden uzaklık tahmini, bir artırılmış gerçeklik prototipinde sanal nesneleri doğru ölçeğe yakın yerleştirmek için de kullanılabilir. Hassas ölçüm gerektiren işlerde ise görüntüden çıkarılan bu tahminlerin ayrıca doğrulanması gerekir.

Comments

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir