Apple tek fotoğraftan 3D sahne çıkaran modeli paylaştı: SHARP

Apple’ın SHARP adını verdiği yeni model, tek bir fotoğrafı alıp sahnenin 3D temsilini kurmayı hedefliyor. Buradaki temel fikir, fotoğrafın içindeki derinlik ve geometri ipuçlarını kullanarak sahnenin 3D Gaussian temsiline ait parametreleri tahmin etmek. Bu temsil üretildikten sonra, kamera çok uzaklaşmadan farklı bakış açılarından görüntü almak mümkün oluyor. Apple, bu yaklaşımın bir kez üretildikten sonra gerçek zamanlı render tarafında avantaj sağladığını belirtiyor.

Tek kareden 3D bakış üretimi

Modelin en dikkat çekici yanı hız iddiası. Apple, tek bir ileri besleme geçişiyle bir saniyeden kısa sürede 3D temsile ulaşıldığını söylüyor. Üstelik temsil metrik yapıda. Yani ölçek ve mesafe, mutlak ölçüye oturacak şekilde kuruluyor ve kamera hareketleri de metrik olarak uygulanabiliyor.

Kalite tarafında da ölçümlü sonuçlar paylaşılıyor. Apple, farklı veri setlerinde önceki güçlü yöntemlere kıyasla LPIPS değerinde yüzde 25–34, DISTS değerinde ise yüzde 21–43 iyileşme gördüğünü aktarıyor. Sentez süresinin de önceki yaklaşımlara göre çok daha aşağı indiği belirtiliyor.

Sınırları ne, kimler kullanabilir

SHARP, yakın açılar için iyi sonuç hedefliyor. Sahnenin tamamen görülmeyen kısımlarını sıfırdan üretmek yerine, fotoğrafın kapsadığı alan etrafında daha tutarlı bir 3D deneyim vermeye çalışıyor. Bu da kamerayı çok uzaklaştırdığınızda sonuçların bozulabilmesi anlamına geliyor.