Recognition and Tracking of Objects in Pictures and Videos Using Deep Learning

Das R., Polat B., Tuna G.

Fırat Üniversitesi Mühendislik Bilimleri Dergisi, vol.31, no.2, pp.571-581, 2019 (TRDizin)

Abstract

Analysis of still images using image processing methods can be performed and meaningful information can be extracted from the images. The presence of the object to be followed in a dynamic environment after detection and recognition is one of the factors that make it difficult. Different methods have been developed in order to cope with such challenging factors and to carry out object tracking successfully. Electro-optical sensor systems, which are commonly used in military applications, enable the determination of moving and fixed targets. In recent years, these systems, which are reinforced by artificial intelligence-based components, provide both faster and more precise target detection. On the other hand, deep learning algorithms have revolutionized the field of artificial intelligence. The use of deep learning algorithms in image processing provides very successful results and easy to solve complex image processing problems. In this study, TensorFlow, Google's open source machine learning library, is used for deep learning and moving object recognition and tracking. Faster R-CNN model from the Region Based Convolutional Networks libraries was used for object tracking. With these libraries, object recognition was performed on still images, video images and webcam images, and the strengths and weaknesses of the libraries examined were revealed.
Görüntü işleme yöntemleri kullanılarak durağan görüntülerin analizleri gerçekleştirilebilir ve söz konusu görüntülerdenanlamlı bilgiler çıkarılabilir. Tespit ve tanıma sonrasında takip edilecek olan nesnenin değişken bir ortam içinde bulunmasızorlaştırıcı unsurlardan birisidir. Bunun gibi zorlaştırıcı unsurlarla başa çıkabilmek ve nesne takibini başarıylagerçekleştirebilmek için farklı yöntemler geliştirilmiştir. Askeri uygulamalarda yaygın olarak kullanılan elektro-optik algılayıcısistemleri hareketli ve sabit hedeflerin belirlenmesini sağlamaktadır. Son yıllarda yapay zekâ tabanlı bileşenlerle güçlendirilenbu sistemler hem daha hızlı hem de daha kesin hedef tespiti yapmayı sağlamaktadır. Öte yandan, derin öğrenme algoritmalarıyapay zekâ alanında bir devrim yaratmıştır. Derin öğrenme algoritmalarının görüntü işlemede kullanılması oldukça başarılısonuçlar alınmasını ve karmaşık görüntü işleme problemlerinin kolaylıkla çözüme kavuşturulabilmesini sağlamaktadır. Buçalışmada derin öğrenme ile hareketli nesne tanıma ve takibi için Google’ın açık kaynak kodlu makine öğrenmesi kütüphanesiolan TensorFlow kullanılmıştır. Nesne takibi için Region Based Convolutional Networks kütüphanesinden Faster R-CNNmodeli ele alınmıştır. Bu kütüphaneler ile durağan görüntüler, video görüntüleri ve webcam görüntüleri üzerinde nesne tanımaişlemi gerçekleştirilmiş ve incelenen kütüphanelerin güçlü ve zayıf yönleri ortaya konmuştur.