2019

Araç Entegrasyonlu Görüntü İşleme Tabanlı Yol Durumu Analiz Sistemi

Araç içi kamera kullanarak yolları gerçek zamanlı izleyen, bilgisayarlı görü ile çukurları tespit eden ve bunları otomatik olarak belediyeye bildiren bir yol analiz sistemi.

Proje Özeti

Bu proje, şehir içi yol yüzeyindeki bozulmaların tespiti için araç üzerine entegre edilmiş, edge AI tabanlı bir görüntü işleme sistemi geliştirilmesini kapsamaktadır. Sistem, araç hareket halindeyken yol yüzeyini sürekli olarak analiz edebilecek şekilde tasarlanmış; tüm görüntü işleme ve nesne algılama süreçleri araç üzerinde çalışan derin öğrenme modelleri ile gerçekleştirilmiştir.

Yol bozukluklarının tespiti, YOLOv8 tabanlı nesne tespit mimarisi kullanılarak yapılmakta; kamera üzerinden elde edilen görüntüler frame bazlı olarak işlenmektedir. Tespit edilen her bozukluk, güven skoru, zaman damgası ve GPS koordinatları ile birlikte yapılandırılmış veri haline getirilerek merkezi sisteme aktarılmaktadır. Bu yaklaşım sayesinde ham görüntü verisi buluta taşınmadan, düşük gecikmeli ve bant genişliği verimli bir analiz süreci sağlanmıştır.

Sistem mimarisi, donanım, algılama ve veri katmanlarının birbirinden bağımsız fakat senkronize çalıştığı modüler bir yapı üzerine kurulmuştur. Edge-first yaklaşım sayesinde ağ bağlantısına bağımlılık azaltılmış, saha koşullarında kararlı ve ölçeklenebilir bir çözüm elde edilmiştir. Geliştirilen prototip, gerçek sürüş senaryolarında test edilmiş ve şehir ölçeğinde sürekli yol durumu analizi yapabilecek teknik altyapının uygulanabilirliği doğrulanmıştır.

Büyüt

Büyüt

Sistem Mimarisi

Geliştirilen yol durumu analiz sistemi, edge-first ve modüler bir mimari yaklaşım esas alınarak tasarlanmıştır. Mimari, görüntü toplama, algılama, konumlandırma ve veri sunum bileşenlerinin birbirinden ayrıldığı ancak senkronize çalıştığı çok katmanlı bir yapıdan oluşmaktadır. Bu yapı, sistemin farklı araç tiplerine ve donanım platformlarına uyarlanabilmesini mümkün kılmaktadır.

Sistemin algılama katmanı, araç üzerine sabitlenmiş geniş açılı bir kamera üzerinden sürekli görüntü akışı sağlayacak şekilde konfigüre edilmiştir. Kamera tarafından üretilen görüntüler, doğrudan edge AI işlem birimine aktarılmakta ve herhangi bir ön işleme gereksinimi olmadan gerçek zamanlı olarak işlenmektedir. Görüntü işleme ve nesne algılama süreçlerinin tamamı, araç üzerinde çalışan derin öğrenme modeli tarafından yürütülmektedir.

İşleme katmanında, GPU hızlandırmalı bir edge AI platformu kullanılmaktadır. Bu katman, derin öğrenme tabanlı algılama işlemlerinin düşük gecikme ile gerçekleştirilmesini sağlarken, sistemin bulut bağlantısına olan bağımlılığını ortadan kaldırmaktadır. Model çıktıları, güven skoru, sınıf bilgisi ve algılanan nesnenin görüntü içindeki konumu gibi teknik parametreleri içerecek şekilde yapılandırılmaktadır.

Konumlandırma katmanı, algılanan yol bozukluklarının coğrafi olarak etiketlenebilmesi amacıyla GPS tabanlı bir konumlama modülü ile entegre edilmiştir. Her bir algılama çıktısı, zaman damgası ile senkronize edilerek coğrafi koordinatlarla eşleştirilmektedir. Bu eşleştirme, yol durumu verilerinin harita tabanlı analiz ve görselleştirme süreçlerinde doğrudan kullanılabilmesini sağlamaktadır.

Veri aktarım ve sunum katmanı, edge cihaz üzerinde üretilen yapılandırılmış çıktıları merkezi sisteme iletecek şekilde tasarlanmıştır. Ham görüntü verisi sistem dışına çıkarılmamakta; yalnızca anlamlı, filtrelenmiş ve etiketlenmiş algılama çıktıları aktarılmaktadır. Bu yaklaşım, veri trafiğini minimize ederken güvenlik ve performans açısından avantaj sağlamaktadır.

Tüm mimari, sahada çalışan mobil sistemler için uygun olacak şekilde; düşük güç tüketimi, yüksek kararlılık ve genişletilebilirlik kriterleri göz önünde bulundurularak tasarlanmıştır. Sistem, donanım veya yazılım bileşenleri değiştirilmeden farklı şehir altyapılarına ve kullanım senaryolarına adapte edilebilecek esnekliğe sahiptir.

Gelişim Süreci

Teknik Detaylar ve Süreç

Görüntü İşleme ve Edge AI Yaklaşımı

Bu projede yol yüzeyindeki bozulmaların tespiti için YOLOv8 tabanlı nesne algılama modeli kullanılmıştır. Sistem, araç üzerine yerleştirilen kameradan alınan görüntüleri frame bazlı olarak işleyerek gerçek zamanlı algılama gerçekleştirmektedir. Görüntüler, model giriş boyutuna uygun şekilde yeniden boyutlandırılmış ve normalize edilerek doğrudan derin öğrenme modeline verilmiştir. Klasik görüntü işleme tabanlı ön filtreleme adımları yerine, öğrenme tabanlı yaklaşım tercih edilmiştir.

Model eğitimi için yol yüzeyindeki çukur ve çatlakları içeren görüntülerden özel bir veri seti oluşturulmuştur. Veri seti, Roboflow platformu üzerinde manuel olarak bounding box yöntemiyle etiketlenmiş ve eğitim için hazır hale getirilmiştir. Eğitim süreci, Google Colab ortamında GPU destekli olarak yürütülmüş ve YOLOv8 mimarisi kullanılarak model eğitilmiştir.

Eğitim sonrası elde edilen model, edge cihaz üzerinde çalışacak şekilde optimize edilerek Jetson Orin Nano platformuna deploy edilmiştir. Tüm görüntü işleme ve algılama işlemleri araç üzerinde gerçekleştirilmekte, ham görüntü verisi sistem dışına çıkarılmamaktadır. Sistem yalnızca algılanan bozukluğa ait sınıf bilgisi, güven skoru, zaman damgası ve GPS koordinatlarını içeren yapılandırılmış çıktıları merkezi sisteme aktarmaktadır.

Bu edge-first yaklaşım sayesinde ağ gecikmesi ortadan kaldırılmış, veri trafiği minimize edilmiş ve sistemin saha koşullarında bağlantıdan bağımsız çalışabilmesi sağlanmıştır. Geliştirilen yapı, araç hareket halindeyken gerçek zamanlı inference yapabilecek şekilde tasarlanmış olup, sahada çalışan bir yol durumu analiz sistemi için gerekli teknik altyapıyı sunmaktadır.

Görüntü İşleme ve Edge AI Yaklaşımı image 1

Görüntü İşleme ve Edge AI Yaklaşımı image 2

Prototip

Geliştirilen sistem, kamera, GPS modülü ve Raspberry Pi 4 içeren bir prototip donanım üzerinde gerçeklenmiştir. Tüm bileşenler araç üzerine entegre edilerek, sistemin hareket halindeyken çalışabileceği senaryolar hedeflenmiştir. Prototip, görüntü alma, gerçek zamanlı algılama, konum eşleme ve veri aktarımı adımlarının tamamını tek bir yapı altında gerçekleştirebilmektedir.

Mevcut prototipte, çukur tespiti işlevsel olarak tamamlanmış ve edge cihaz üzerinde gerçek zamanlı inference ile çalıştırılmıştır. Algılanan bozukluklar, GPS koordinatları ve zaman bilgisi ile eşleştirilerek merkezi sisteme aktarılmış; mobil uygulama üzerinden harita tabanlı olarak görüntülenmiştir. Sistem, araç hareket halindeyken kararlı şekilde çalışacak biçimde test edilmiştir.

Saha testleri, gerçek yol koşullarında gerçekleştirilmiş ve modelin farklı asfalt dokuları ve ışık koşullarındaki davranışı gözlemlenmiştir. Testler sırasında, modelin edge cihaz üzerinde bağlantıdan bağımsız çalışabildiği ve gerçek zamanlı algılama kapasitesini koruduğu doğrulanmıştır. Şerit çizgisi bozulmalarının tespiti ve ek filtreleme mekanizmaları geliştirme aşamasındadır.

Sistem mimarisi, donanım ve yazılım bağımsızlığı gözetilerek tasarlanmıştır. Bu sayede prototip; farklı kamera tipleri, farklı edge AI platformları ve farklı araç türleri ile çalışabilecek şekilde genişletilebilir yapıdadır. Aynı mimari, şehir ölçeğinde çoklu araç entegrasyonuna ve farklı yol analiz senaryolarına uyarlanabilecek esnekliğe sahiptir.