Proje Bağlamı
Sıradan video görüntülerinden üç boyutlu rekonstrüksiyon yapmak zordur; çünkü nesne tespiti, derinlik tahmini, kamera geometrisi ve çoklu görünüm hizalamasının, bakış açısı, görüntü kalitesi, ışık koşulları ve sahne derinliğindeki değişimlere rağmen birbiriyle tutarlı biçimde çalışması gerekir.
Üç kişilik bir bitirme projesinin parçası olarak, Akıllı Ulaşım Sistemleri (ITS) bağlamında araçları birden fazla video açısından yeniden oluşturmayı amaçlayan bir bilgisayarlı görü hattı üzerinde çalıştım.
Proje, tek bir rekonstrüksiyon tekniğine dayanmak yerine önceden eğitilmiş bilgisayarlı görü modellerini geometrik yöntemlerle birleştirerek görece kısa video dizilerinden araçların kısmi 3B temsillerinin oluşturulup oluşturulamayacağını inceledi.
Araştırma Hedefleri
- Video kareleri boyunca araçları tespit etmek.
- Tek kameralı görüntülerden sahne derinliğini tahmin etmek.
- Kamera geometrisini kalibre etmek ve görüntü koordinatlarını üç boyutlu yapıyla ilişkilendirmek.
- Tespit edilen araç bölgeleri içindeki ilgili görsel özellikleri belirlemek.
- Video karelerinden nokta bulutu temsilleri oluşturmak.
- Farklı bakış açılarından elde edilen rekonstrüksiyonları hizalayarak geometrik tutarsızlıkları azaltmak.
- Öğrenilmiş görsel modeller ile geometrik rekonstrüksiyon yöntemlerinin birlikte kullanılmasından kaynaklanan pratik sınırları belirlemek.
Veri Kümesi
Proje için aynı sahneyi birden fazla bakış açısından içeren uygun bir kamu veri kümesi bulunmadığından ekip kendi görsel verisini topladı.
Fotogrametri ve derinlik işleme işlemleri yüksek hesaplama maliyetine sahip olduğundan yaklaşık 30 saniyelik videoya dayanan görece küçük bir veri kümesi kullanıldı.
Çalışmada ayrıca şu koşulların dikkate alınması gerekiyordu:
- kamera hareketi
- değişen görüntü ve ışık koşulları
- sınırlı video kalitesi
- hesaplama gereksinimleri
- işletim sistemi ve yazılım uyumluluğu
- gerçek ortamda video toplamaya bağlı gizlilik konuları
Yöntem
Araç Tespiti
İlk uygulamada YOLOv3 denendi; ancak yapılandırması ve ikili dosya gereksinimleri mevcut geliştirme ortamında pratik sorunlara yol açtı.
Bu nedenle sistem YOLOv5'e geçirildi ve model PyTorch Hub üzerinden yüklendi.
Tahminler şu ilgili araç sınıflarını koruyacak şekilde filtrelendi:
- otomobiller
- kamyonlar
- otobüsler
Böylece sonraki rekonstrüksiyon aşamalarında kullanılmak üzere sınırlayıcı kutular ve nesne merkezleri elde edildi.
Kamera Kalibrasyonu
Kamera kalibrasyonu satranç tahtası desenine dayalı bir kalibrasyon prosedürü kullanılarak gerçekleştirildi.
İçsel parametreler odak uzaklığı ve lens distorsiyonu gibi kameraya özgü özellikleri tanımlarken, dışsal parametreler kameranın dış ortamla uzamsal ilişkisini temsil etti.
Kalibrasyon sürecinde hem OpenCV hem de MATLAB Camera Calibration Toolbox incelendi.
Derinlik Tahmini
Derinlik tahmini için çeşitli yaklaşımlar araştırıldı.
İlk aşamada formül tabanlı ve disparity tabanlı yöntemler denendi; ancak bunlar proje açısından yeterince kullanılabilir sonuçlar vermedi.
Bu nedenle sistemde tek görüntüden derinlik tahmini için MiDaS DPT_Large kullanıldı.
Video dizileri karelere ayrıldı ve her kare ayrı ayrı işlenerek derinlik haritaları üretildi. Daha sonra sahnedeki bir referans nesnesi kullanılarak kareler arasındaki derinlik değerleri ölçeklendirildi ve normalize edildi.
MiDaS yakın mesafedeki nesnelerde kullanılabilir tahminler sağladı; ancak nesne uzaklığı arttıkça güvenilirliği azaldı. Bu durum tek görüntüden derinlik tahmininin önemli bir sınırını ortaya koydu.
Özellik Tespiti
Özellik çıkarımı için başlangıçta SIFT değerlendirildi; ancak daha düşük hesaplama maliyeti nedeniyle FAST tercih edildi.
Ardışık karelerde FAST anahtar noktaları tespit edildi ve rekonstrüksiyonun tüm sahne yerine tespit edilen araçlarla ilişkili özelliklere odaklanması için YOLOv5 sınırlayıcı kutuları kullanılarak filtrelendi.
3B Rekonstrüksiyon
Derinlik bilgisi, tespit edilen araç bölgeleri ve görsel özellikler bir araya getirilerek ara bir nokta bulutu temsili oluşturuldu.
İlk nokta bulutu görece düşük çözünürlüklüydü; ancak sistemin farklı bileşenlerinin ortak bir 3B temsil içinde birleştirilebildiğini gösterdi.
Çoklu Görünüm Hizalaması
Farklı kamera açılarından üretilen nokta bulutları doğrudan birleştirildiğinde önemli bir sorun ortaya çıktı.
Doğrudan hizalama ciddi geometrik tutarsızlıklar üretti.
Bu nedenle sistem şu açık geometrik dönüşümler kullanılarak genişletildi:
- döndürme
- ölçekleme
- öteleme
Nokta bulutlarından biri y ekseni etrafında 180 derece döndürüldü. Daha sonra x, y ve z boyutlarındaki uç koordinatlar belirlenerek üç boyutlu sınırlayıcı kutular oluşturuldu.
Bu sınırlar, nokta bulutlarının birbirine daha yakın biçimde hizalanması için ölçekleme ve öteleme işlemlerinde kullanıldı.
Sonuçlar
Proje şu aşamaları birbirine bağlayan uçtan uca deneysel bir sistem ortaya çıkardı:
araç tespiti → derinlik tahmini → özellik çıkarımı → nokta bulutu rekonstrüksiyonu → çoklu görünüm geometrik hizalaması
Geliştirme sürecinde çeşitli somut sonuçlar elde edildi.
Araç Tespiti
YOLOv3'ten YOLOv5'e geçiş uygulamayı kolaylaştırdı ve toplanan video kareleri üzerinde kullanılabilir araç tespitleri sağladı.
Derinlik Tahmini
MiDaS, yakın nesnelerin rekonstrüksiyonunda kullanılabilir derinlik haritaları üretti; ancak nesne uzaklığı arttıkça performansı kötüleşti.
Bu durum derinlik tahmininin genel rekonstrüksiyon sistemindeki başlıca güvenilirlik sınırlarından biri olduğunu ortaya koydu.
İlk 3B Rekonstrüksiyon
YOLOv5 tespitlerinin, MiDaS derinlik tahminlerinin ve FAST anahtar noktalarının birleştirilmesiyle bir aracın ara 3B nokta bulutu üretildi.
Rekonstrüksiyon düşük çözünürlüklü kalmasına rağmen mevcut video verisinden kısmi bir üç boyutlu temsil oluşturulabildiğini gösterdi.
Çoklu Görünüm Rekonstrüksiyonu
Farklı bakış açılarından elde edilen nokta bulutlarının doğrudan birleştirilmesi zayıf hizalama sonuçları üretti.
Döndürme, ölçekleme ve öteleme dönüşümlerinin eklenmesi bu geometrik tutarsızlıkları azalttı ve daha tutarlı birleşik nokta bulutu görünümleri oluşturdu.
Nihai sonuçlar, öğrenilmiş görsel modeller ile klasik geometrik dönüşümlerin kısmi çoklu görünüm araç rekonstrüksiyonu için bir araya getirilebildiğine ilişkin bir kavram kanıtı sundu ve aynı zamanda yaklaşımın sınırlarını görünür hâle getirdi.
Katkılar
- ITS bağlamında yürütülen bir yıllık çok kameralı bilgisayarlı görü bitirme projesine katkıda bulundum.
- YOLOv5 araç tespitini daha geniş bir rekonstrüksiyon sistemiyle bütünleştirdim.
- Alternatif derinlik yöntemlerinin yetersiz kalmasının ardından tek görüntüden derinlik tahmini için MiDaS DPT_Large kullandım.
- Görüntü uzayındaki bilgiyi üç boyutlu geometriyle ilişkilendirmek için kamera kalibrasyonu uyguladım.
- FAST özellik tespiti kullandım ve anahtar noktaları araç sınırlayıcı kutularıyla filtreledim.
- Video gözlemlerinden ara bir 3B araç nokta bulutu oluşturdum.
- Farklı bakış açılarından elde edilen rekonstrüksiyonları döndürme, ölçekleme, öteleme ve 3B sınırlayıcı kutu bilgisi kullanarak birleştirdim.
- İlk yöntemler yeterli sonuç vermediğinde başlangıçtaki sistemi değiştirmeden sürdürmek yerine metodolojiyi uyarladım.
- Derinlik belirsizliği, görüntü kalitesi, yazılım uyumluluğu ve nokta bulutu hizalamasıyla ilgili pratik başarısızlık biçimlerini belirledim.
Kapsam ve Sınırlar
Nihai rekonstrüksiyon, üretim ortamında kullanılmaya hazır bir 3B araç modeli yerine kısmi ve görece düşük çözünürlüklü bir temsil olarak kaldı.
Performansı çeşitli faktörler sınırladı:
- MiDaS derinlik tahminleri uzak nesnelerde daha az güvenilir hâle geldi.
- Video kalitesi rekonstrüksiyonda kullanılabilecek bilgiyi sınırladı.
- Bakış açıları arasında doğrudan nokta bulutu eşleştirmesi yeterli olmadığından açık geometrik dönüşümler gerekti.
- İşleme gereksinimleri kullanılabilecek video miktarını sınırladı.
- Sistem gerçek zamanlı trafik yönetimi veya araç takibi uygulaması olarak değerlendirilmedi.
Bu sınırlar nedeniyle proje, kullanıma hazır bir ITS sistemi olarak değil, kavram kanıtı niteliğinde bir rekonstrüksiyon sistemi olarak değerlendirilmelidir.
Projenin Önemi
Projenin en güçlü sonucu, birden fazla bilgisayarlı görü ve geometrik bileşenin tek bir rekonstrüksiyon sistemi içinde bütünleştirilmesi ve her bir bileşendeki sınırlamaların nihai çıktıya nasıl yansıdığının incelenmesiydi.
Güvenilir araç tespiti tek başına güvenilir bir 3B rekonstrüksiyonu garanti etmiyordu; nihai sonuç aynı zamanda derinlik kalitesine, kamera geometrisine, özellik çıkarımına ve farklı bakış açılarının hizalanmasına bağlıydı.
Proje böylece sistem düzeyinde model entegrasyonu, yinelemeli yöntem tasarımı ve başarısızlık analizi konusunda uygulamalı deneyim kazandırdı; nihai bir hesaplamalı çıktının kalitesinin birden fazla kusurlu bileşenin birbirleriyle etkileşimine bağlı olabileceğini gösterdi.