Video günümüz digital içeriklerinde en önemli bileşenlerden birisi ve internette gün geçtikte video içeriği artıyor. Aynı şekilde kurumlarda  gerek eğitim için olsun gerek pazarlama, eğlence gibi alanlarda sürekli video içerikleri üretiyorlar.

Genel olarak tüm video içerikleri başlık, açıklama ve etiket gibi temel bilgileri içeriyorlar. Fakat bir video içerisinde bu bilgilerden çok daha fazlası oluyor. Özellikle uzun videolarda hangi zaman hangi konu anlatılmış, video hangi konuları içeriyor, video içerisinde ki konuşmacılar kim gibi bir çok önemli veri aratılamaz durumda video içerisinde saklı duruyor.

Bu tarz verilerin ayıklanması, oluşturulması, özellikle yüklü miktarda veri için pratikte imkansız bir durum.

Tam bu noktada yapay zeka yardımımıza koşuyor ve devreye giriyor.

Build 2017 de duyurulan önemli teknolojilerden bir tanesi Microsoft Cognitive Services’lere eklenen Video Indexer hizmeti. Video Indexer dijital video ve audio içerikleri için otomatik olarak bir çok veriyi bulup düzenleyen bir servis. Video Indexer Azure Media Servisleri, diğer Microsoft Cognitive Servisler, Azure Search ve Azure storage, Azure Cosmos DB (Document DB) gibi hizmetleri kullanarak ses ve görüntü dosyalarında ki metadatayı açığa çıkarıyor.

Video Indexer kullanmak için machine learning veya computer vision gibi teknolojileri bilmenize gerek yok. Hatta video indexer’ ı sıfır kod yazarak web arabiriminden direk kullanabilirsiniz.

Tabiki API’lar aracılığı ile de programatik olarak video ve ses dosyaları için oluşturulan verileri sorgulayabilirsiniz.

Video Indexer’ ın kullanım senoryalarına kısaca bakacak olursak;

Arama: Video indexer aracılığı ile çıkan verileri, video kütüphaneniz de detaylı ve kullanıcı dostu bir arama deneyimi oluşturmak için kullanabilirsiniz. Örnek vermek gerekirse konu bazlı veya teknoloji bazlı bir video aratmak istiyorsanız ve kelimelerin ne zaman hangi video da kim tarafından kullanıldığını bulmak istiyorsanız oldukça faydalı veriler size hazır olarak sunulacaktır. Aynı zaman da video indexer konuşmacı bilgilerini de sizin kullanımınıza sunuyor.

Değer Katma (Ücretlendirme): Medya, social medya gibi bir uygulama veya firma sahibi video kütüphanesinden aldığı veriler ile videolar içerisinde ki bilgilere dayanarak nokta atışı reklam kampanyaları düzenleyebilir.

Kullanıcı Etkileşimi: Video indexer daha iyi bir kullanıcı deneyimi ve etkileşimi için oldukça faydalı sonuçlar çıkarabilir. Örnek vermek gerekirse bir video ilk 1 saat asal sayılar, ikinci saat ise doğal sayılar konusunu anlatıyor ise video izleyen öğrenci direk istediği dakikayı ayarlayarak zaman kaybetmeden videoda ileri geri yaparak konu başlama noktasını bulmak için vakit kaybetmeden hızlıca video ile etkileşime geçebilir.

Video Indexer Özellikleri

Video Indexer yukarıda da bahsettiğimiz gibi hem web portal şeklinde kullanıcı arabirimi olan hem de gelişmiş REST API sorgularıyla programatik olarak kullanabileceğiniz bir servis.

İçerik yükleme: Video Indexer’ a video url vererek veya direk portaldan dosya seçerek video yüklemesi yapabilirsiniz. Video indexer video yüklenir yüklenmez videoyu işlemeye başlar ve bir çok yapay zeka teknolojisini kullanarak video ile ilgili bilgileri toplamaya başlar.

Öngörülerin indirilmesi: Video işleme bitince video öngörülerini JSON dosya formatı halinde download edebilir veya api aracılığı ile çağırabilirsiniz.

Oynatma sihirbazı:  Videonuz için video oynatma sihirbazını alıp istediğiniz web uygulamasına ekleyebilirsiniz.

Öngörü sihirbazı: Video da ki öngörüleri sunmak için hazır bir shirbaz size web uygulamalarınızda kullanılmak üzere verilir.

Öngörü düzenleme: Yanlış veya eksik gördüğünüz verileri video indexer servisi portalinde düzenleyip servisinin sonraki analizlerini daha iyi hale getirmesini sağlayabilirsiniz. Örnek vermek gerekirse ilk yüklediğiniz video da kendi konuşmacılarınız bulunuyor ise bulunan konuşmacılar tanınamayabilir. Siz bulunan bu yüzlerin kim olduklarını belirleyerek bir sonraki analizde düzgün gelmesini sağlayabilirsiniz.

Video Indexer ile kullanılan Yapay Zeka Teknolojileri

Audio Transcription: Video Indexer speech-to-text özelliği ile kullanılan veya konuşulan kelimelerin listesini size sunar.

Face Tracking and Identification: Bu teknoloji ile video da bulunan yüzler tanımlanır. Bu sayede siz konuşmacı bilgilerini alabilirsiniz.

Speaker indexing: Bu teknoloji ile video indexer hangi konuşmacı hangi kelimeyi ne zaman kullanmış bilgisini alır.

Visual text recognition: Bu teknoloji ile video indexer videoda bulunan veya gösterilen yazıları tanımlar.

Voice activity detection: Video indexer bu yapay zeka teknolojisi ile video da ki sessiz anları, alkış yapılan anları veya konuşulan anları analiz eder.

Scene detection: Bu teknoloji ile sahnenin ne zaman değiştiği analizi yapılır.

Keyframe extraction: bu video ile video da ki keyframe’ ler bulunur.

Sentiment Analysis: Bu yapaz zeka teknlojisi ile kullanılan sözçüklerin pozitif, negatif veya doğal olma gibi durumları belirlenir.

Translation: Video Indexer İngilizce, İspanyolca, Fransızca vs. gibi bir çok dilde çeviri yapabiliyor. Bu diller gün geçtikçe Microsoft tarafından geliştiriliyor ve yenileri ekleniyor.

Visual Content Moderation: Bu teknoloji video içeriğinde yetişkin, politik, savaş içeriklerinin olup olmadığını denetliyor. Bu sayede videolara içerik filtresi uygulayabilirsiniz.

Keyword extraction: Video indexer anahtar kelimeleri konuşulan kelimelerin analizinden ve text analizinden gelen kelimler ile derleyip oluşturur.

Annonation: Bu teknoloji ile Video Indexer daha önceden tanımlanmış 2000 modelden videolar için bilgi notları oluşturur.

Video Indexer görüldüğü gibi Microsoft Cognitive servislere eklenmiş olan oldukça detaylı bir yapay zeka teknolojisi. Video Indexer ile ilgili detaylı bilgiye aşağıda ki linkten bulabilirsiniz.

https://vi.microsoft.com/

Onur YÜKSEKTEPELİ