2022'nin şubat ayında yapay zeka destekli "evrensel konuşma tercümanı" (UST) üzerinde çalıştığını duyuran Meta AI, Temmuz 2022'de "No Language Left Behind" (NLLB) projesi kapsamında Asturyasça, Luganda ve Urduca gibi düşük kaynaklı diller de dahil olmak üzere toplamda 200 dil için çeviriler yapacağını açıklamıştı.
Meta AI şimdi de yazılı olmayan konuşma dilini tercüme etmek üzere çabalarını artırıyor. Peki, Meta AI yazılı olmayan konuşma dilini nasıl tercüme ediyor? Gelin süreci yakından inceleyelim.
Meta neden yazılı olmayan dillere odaklandı?
Aslında geniş kitleler tarafından kullanılan İngilizce, Mandarin ve İspanyolca gibi diller çeviri araçları tarafından destekleniyor. Ancak Meta'nın paylaştığı bilgilere göre, dünya nüfusunun yüzde 20'sinin konuştuğu diller, bu sistemler tarafından desteklenmiyor.
Ayrıca Meta, günümüzde kullanılan yapay zeka destekli tercüme modellerinin yaygın olarak konuşulan yazılı dillere odaklandığını belirtiyor. Paylaşılan bilgilere göre, Sözlü dillerin yüzde 40'ından fazlası bu tür tercüme teknolojilerinin kapsamında yer almıyor.
Evrensel konuşma tercümanının teknik detayları
Meta AI, "evrensel konuşma tercümanı"nı oluşturmak için 3 farklı çeviri sistemi zorluğunu aşmaya odaklandı. Bu zorlukları açmak için şirket, daha fazla dilde model eğitimine yönelik daha fazla veri elde etti. Şirketin bu sayede mevcut olan verilerden yararlanmanın yeni yollarını bulduğunu söyleyebiliriz. Bu da alandaki veri kıtlığının giderildiğini gösteriyor.
Ayrıca modeller büyüdükçe daha fazla dile hizmet etmek adına modelleme zorlukları ortaya çıktı. Ekip, tüm bu modelleme çalışmalarının ortaya çıkardığı sonuçları değerlendirmek ve geliştirmek için aktif olarak yeni yollar arıyor.
Meta AI'nın araştırma ekibi, eğitim verisi toplamaktan modelleme seçeneklerine kadar veri kümelerini kıyaslamak için örnek bir vaka çalışmasına ihtiyaç duydu. Bu da ekibi Hokkien üzerinde çalışmaya itti. Bu anlamda araştırma ekibi, insanların açıklamalarını içeren veriler oluşturmaya odaklandı. Bununla beraber ekip, etiketlenmemiş büyük konuşma veri kümelerinden otomatik olarak veri madenciliğine yöneldi. Ayrıca yapay zekanın etiketlenmemiş verilerin etiketlerini tahmin etmesi için etiketlenmiş veri modeli kullanmayı içeren pseudo-labeling (sözde-etiketleme) yönteminden de faydalanıldı.
Modelleme sürecinde Hokkien'e benzer bir dil olan Mandarince'nin yazılı metinlerinden de yararlanıldı. Bu sayede Meta AI, iki kişinin konuşması esnasında çeviri yeteneklerini artırmış oldu. Bir diğer deyişle konuşmadan konuşmaya çeviri hayata geçmiş oldu.
Meta, yapay zeka modellemenin ötesinde, konuşmayı akustik sekanslara dönüştürürken kendi geliştirdiği S2UT teknolojisini kullanıyor. Bu kapsamda üretilen çıktı, giriş birimlerinden gelen dalga biçimlerinden oluşuyor. Buna ek olarak Meta, iki aşamalı kod çözme (decoding) mekanizması için UnitY'yi benimsedi. Bu iki aşamanın ilk geçişinde kod çözücü Mandarin gibi söz konusu dil ile ilişkili bir metin üretiyor. ikinci geçişte ise kod çözücü gerekli birimi oluşturmuş oluyor.
Meta'nın yapay zeka çalışmaları nereye varacak?
Uzun vadede Meta AI ekibinin, evrensel konuşma tercümanı ile varmak istediği noktayı merak ediyor olabilirsiniz. Şirketin yapay zeka departmanı yalnızca tercüme üzerinde değil DALL-E benzeri yapay zeka destekli video aracı üzerinde de çalışıyor. Make-A-Video adlı aracın arkasındaki sistem, eşlenmiş metin - görsel verisinden kelimelerin nasıl göründüğünü ve metinle ilişkili olmayan kısımda dünyanın video çekimlerinde nasıl göründüğünü öğreniyor. Make-A-Video'yu desteklemek için WebVid-10M ve HD-VILA-100M veri setlerinden faydalanıldı.
Meta AI lideri Jérôme Pesenti ve Meta AI Research'ün yönetici direktörü Joelle Pineau'nun paylaştığına göre şirket, bedenselleştirilmiş interaktif bir metaverse için yapay zeka geliştirme üzerine çalışıyor. Pineau'nun aktardığına göre, Meta AI, "sınırsız robotik" kavramının peşinde. Bu kapsamda şirket, robotları laboratuvar ya da fabrika ortamından çıkararak evde veya ofiste insanlarla ve nesnelerle doğal bir etkileşim halinde çalışmasını amaçlıyor.
Pineau'ya göre zengin etkileşimden öğrenen robotlar inşa etmek şirketin atacağı en önemli adımlardan biri olacak. Bu bağlamda Carnegie Mellon University ve MIT ile iş birliği yapan Meta AI, yeni dokunma sensörleri geliştiriyor. Yapay zeka teknikleri kullanan bu sensörler, iletişim konumundan anlam çıkarabiliyor. Ayrıca sensörün içinde yer alan kameraya kaydedilen görüntüler üzerinden temas gücünü ölçebiliyor.
Tıpkı, Boston Dynamics robotlarının metaverse ile birleştiği metamobility konseptinde olduğu gibi, Meta da avatarlar üzerinden robotlarla iletişim kurulmasını hedefliyor. Böylece sanal gerçeklik ve gerçek dünya arasındaki boşluğun doldurulacağına inanıyor. Kısacası şirket, bedenselleştirilmiş interaktif bir metaverse için yapay zeka geliştirme üzerine çalışıyor.
0 Yorumlar