Büyük Resim


Bu makale, yasal, sağlık veya askeri bağlamlarda ortaya çıkanlar gibi yüksek riskli kararları bildirmek için kullanılan yapay zeka (AI) hakkındadır. Kullanıcılar, yüksek riskli kararlar alırken bir yapay zeka sisteminin yetenekleri ve sınırlamaları hakkında bilgi sahibi olmalıdır. Genellikle bu, kullanıcının sistemle etkileşime girmesini ve zaman içinde sistemin farklı durumlarda nasıl davrandığını öğrenmesini gerektirir. Yorumlanabilirlik ve belirsizlik farkındalığı özelliklerine sahip bir AI sistemi için uzun vadeli etkileşimin gerekli olmayacağını öneriyoruz. Yorumlanabilirlik, sistemin "bildiğini" netleştirirken, belirsizlik farkındalığı sistemin "bilmediğini" ortaya çıkarır. Bu, kullanıcının sistemin çıktılarına olan güvenini hızlı bir şekilde kalibre etmesine, muhakemesindeki kusurları tespit etmesine veya emin olmadığında görmesine olanak tanır. Bu kavramları, karar vericilerin aşina olmadıkları ve hızla değişen ortamlarda faaliyet gösteren AI sistemlerini kullanıyor olabilecekleri bir askeri koalisyon operasyonu bağlamında gösteriyoruz. Hem teknik hem de insan faktörlerinin zorluklarını göz önünde bulundurarak bu alanlardaki mevcut araştırmaları gözden geçiriyoruz ve Lasswell'in iletişim modeline dayalı gelecekteki çalışmalar için bir çerçeve öneriyoruz.

Ana yazı

Giriş

Yapay zeka (AI) sistemlerinin büyük miktarda veriyi analiz etme ve hızlı bir şekilde içgörü elde etme vaadi, yüksek riskli karar vermeyi içeren karmaşık alanlardaki sorunlara yönelik yapay zekayı uygulamaya yönelik ilgiyi artırdı. Bu tür alanlarda, insan-yapay zeka ekibi oluşturan yapay zekanın çıktıları tarafından desteklenen nihai bir karar oluşturmak için insan uzmanlara güveniliyor. Birkaç çalışma, bu tür ekiplerin performansının, yalnızca insan veya yapay zekanın performansından daha yüksek olabileceğini göstermiştir. ekibin her üyesinin diğerinin zayıflıklarını telafi edebileceğini öne sürmek. Bunun gerçekleşmesi için, insanın yapay zeka ve yeteneklerine ilişkin yeterli bir zihinsel model oluşturması gerekir. Uygun bir zihinsel model oluşturmamak, insanın yapay zekaya olan güven düzeyini yanlış ayarlamasına ve insan-yapay zeka ekibinin düşük performans göstermesine neden olacaktır.
Bu Perspektifte, AI sistemlerinin, çıktılarına nasıl ulaşıldığına dair açıklamalar (yorumlanabilirlik sağlayarak) ve çıktılarındaki belirsizliğe ilişkin tahminler vererek insan ekip arkadaşlarına uygun zihinsel modeller oluşturmalarına yardımcı olabileceğini savunuyoruz. Bu iki faktör, insanın hem yapay zekanın neyi “bildiğini” hem de yapay zekanın “bilmediğini” anlamasına yardımcı olur. Bu gereksinimler, gelecekteki askeri koalisyon operasyonlarında yapay zeka destekli karar alma senaryosu tarafından motive edilir. Burada, koalisyon ortamını ve yapay zeka sistemlerinin bu ortamda insanların karar vermesini desteklemek için nasıl konuşlandırılabileceğini açıklıyoruz. Bunu, sağlam AI destekli karar verme için önerilen yorumlanabilirlik ve belirsizlik farkındalığı gereksinimlerimizi motive etmek için kullanıyoruz. Bu gereksinimlerin ortaya çıkardığı teknik zorlukları ve insan faktörü zorluklarını tartışıyor ve bu sorunları çözmeye yönelik umut verici son çalışmaları vurguluyoruz.

Koalisyon Operasyonlarında AI

AI araştırmamızın bağlamı , motive edici ortam olarak gelecekteki askeri koalisyon operasyonlarını alan Dağıtılmış Analitik ve Bilgi Bilimi Uluslararası Teknoloji Birliği'dir (DAIS-ITA) ( https://dais-ita.org/ ). Hızla değişen tehditlere karşı hızlı bir şekilde koalisyonlar oluşturulabilecek ve operasyonlar beş alanda (kara, deniz, hava, uzay ve siber) ortaklaşa yürütülecek,
askeri karar vericilerin anlaması için karmaşık ve son derece dinamik bir ortam sunuyor. Bir koalisyon operasyonunda devam eden durumu anlamlandırmaya yardımcı olmak için ordular, insan karar vericilere yardımcı olabilecek içgörüler elde etmek için yapay zeka teknolojilerine giderek daha fazla güvenecek.
Öngörülen senaryo, mevcut AI teknikleri için çeşitli zorluklar ortaya koymaktadır.
  • 1
    Hızla gelişen operasyonlar sırasında büyük miktarda veri toplanabilse de, (yeniden) eğitim modelleri için tüm bu verileri temizlemek ve etiketlemek için yeterli zaman veya kaynak olmayacaktır.
  • 2
    Bir işlem sırasında durum önemli ölçüde değişebilir, bu da verilerin statik bir dağıtımdan üretilemeyeceği, ancak zaman içinde sürükleneceği anlamına gelir.
  • 3
    Düşmanlar, koalisyonun AI sistemlerini ve dolayısıyla karar vericileri şaşırtmak için verileri manipüle etmeye çalışabilir.
  • 4
    Operasyonel ortam nedeniyle koalisyonu destekleyen ağ yavaş ve güvenilmez olabilir, bu da büyük, merkezi bilgi işlem gücüne erişimin garanti edilmediği anlamına gelir. Bu nedenle AI hizmetleri, eşler arası iletişim kurarak ağın ucundaki düşük güçlü cihazlar üzerinden dağıtılacaktır. Bir analistin herhangi bir zamanda kullanabileceği hizmetler kümesi, fiziksel konumlarına, ağ durumlarına ve ağ genelinde görevlerin dinamik olarak önceliklendirilmesine bağlı olarak değişecektir.
İlk üç nokta, verilerin doğası ile ilgilidir: operasyon sırasında yeniden eğitim için yalnızca küçük miktarlarda veri mevcut olacaktır ve bu veriler güvenilir olmayabilir. Bu nedenle AI hizmetleri, performansları hakkında garanti verilemeyen dağıtım dışı veriler üzerinde çalışacaktır. Son nokta, insan analistlerin aşina olmadıkları çeşitli yapay zeka hizmetleriyle etkileşime girecekleri anlamına gelir. Koalisyon operasyonunun hızlı oluşumu ve dinamik doğası, insanların operasyon öncesi eğitim veya operasyon sırasında tekrarlanan kullanım yoluyla belirli AI hizmetleriyle ilgili deneyim oluşturmasına izin vermeyebilir. Bu dört faktör, güven kalibrasyonunu iyileştirecek azaltmalar olmaksızın insan-AI ekibinin genel performansını olumsuz yönde etkileyecektir.
Bir sonraki bölümde güven kalibrasyonu kavramını, bunun insan-yapay zeka ekip performansını nasıl etkilediğini ve yorumlanabilir ve belirsizliğe duyarlı yapay zeka sistemleri geliştirerek nasıl iyileştirilebileceğini açıklıyoruz. 
Yapay zeka (AI) sistemleri, karar destek araçları olarak büyük umut vaat ediyor, ancak bu potansiyellerini gerçekleştirmek istiyorlarsa, kaçınılmaz hatalarını tanımlayabilmeli ve anlayabilmeliyiz. Bu, özellikle hukuk, tıp ve ordu gibi kararların yüksek riskli olduğu alanlarda geçerlidir. Bu Perspektifte, askeri koalisyon operasyonlarında AI karar desteği için ortaya çıkan belirli zorlukları açıklıyoruz. Bunlar, AI performansını kaçınılmaz olarak tehlikeye atan sınırlı, düşük kaliteli verilerle uğraşmak zorunda olmayı içerir. Karar vericilerin AI sisteminin sınırlamalarını ve olası başarısızlıklarını anlamaları ve çıktılarına olan güvenlerini uygun şekilde kalibre edebilmeleri için hızlı güven kalibrasyonuna izin veren adımlar atılarak bu sorunların hafifletilebileceğini öneriyoruz. AI hizmetlerinin bunu hem yorumlanabilir hem de belirsizliğin farkında olarak başarabileceğini öneriyoruz. Bu tür AI sistemleri oluşturmak, çeşitli teknik ve insan faktörleri zorlukları ortaya çıkarır. Bu zorlukları gözden geçiriyoruz ve gelecekteki araştırmalar için yönergeler öneriyoruz.

Sonuçlar

Sağlam İnsan-Yapay Zeka Ekibi Karar Verme için Hızlı Güven Kalibrasyonu

Karar destekli yapay zekayı kullanmaktan en büyük faydayı elde etmek için, insanın sisteme uygun şekilde kalibre edilmiş bir güven düzeyine sahip olması gerekir. İnsan, yetkin bir sistemin çıktısını kabul ederek, ancak yapay zeka hatalarını telafi etmek için diğer kaynakları veya kendi uzmanlıklarını kullanarak, güven düzeyini yapay zekanın yeteneklerine uygun şekilde ayarladığında güven iyi ayarlanmış demektir; tersine, yetersiz kalibre edilmiş güven, ekip performansını düşürür çünkü insan, hatalı yapay zeka çıktılarına güvenir veya doğru olanları kabul etmez. Bansal ve ark. insanların ne kadar iyi öğrendiğini ve yapay zekanın hata sınırını (yapay zekanın hata yapmasına neden olanlarla doğru şekilde sınıflandırılan girişleri ayıran sınır) ölçerek bunu resmileştirin. Bununla birlikte, yüksek boyutlu verilerle ve/veya birçok sınıfla uğraşan yapay zeka sistemleri, kendi kendini açıklayamayan hata sınırlarına sahip olacaktır. Koalisyon ortamında, insanın hata sınırını öğrenme fırsatı olmayabilir: Kullandıkları yapay zeka hizmetleri, kullanmak üzere eğitildiklerinden farklı olabilir (örneğin, diğer koalisyon ortaklarına aitlerse) ve veriler üzerinde çalışabilirler. eğitim verilerinden farklıdır ve öngörülemeyen hata sınırlarına neden olur. Her karar yüksek riskli olduğunda, insan yapay zekaya olan güvenini hızlı bir şekilde ayarlayabilmeli ve güven düzeyini duruma göre ayarlayabilmelidir.
Hızlı güven kalibrasyonu, bir iletişim sorunu olarak ortaya konabilir: AI sistemi, yeteneklerini ve sınırlamalarını kullanıcıya hızlı bir şekilde iletmelidir. Bu nedenle van der Bles ve ark. Lasswell'e dönmeyi önerirken Yapay zekanın insan iletişimine hangi yönlerinin güven kalibrasyonunu etkileyebileceğini ve dolayısıyla araştırma çabalarının nereye odaklanacağını bildirmek için iletişim modeli. Lasswell'in modeli bizden şunu belirlememizi ister: Kim neyi, kime, hangi etkiyle söylüyor. Braddock koşullar ve iletişimin amacı da göz önünde bulundurularak önerilmiştir. Koalisyon bağlamında bile büyük farklılıklar göstereceği için koşulları ve iletişimin amaçlarını netleştirmeye yardımcı olduğu için amacı dahil ettik. Yapay zeka destekli karar verme bağlamında, söz konusu “kim” yapay zeka sistemidir, “kime” insan karar vericidir ve iletişimin “amacı” insanın kararlarını iyileştirmektir. İletişimin “etkisi” neyin, hangi biçimde ve hangi koşullarda iletildiğine ve iletildiği karar vericinin özelliklerine bağlı olacaktır. Bu modeli kullanarak gelecekteki araştırmaları yapılandırmak, hem araştırma sorularını daraltmaya hem de araştırmanın farklı ortamlara uygulanabilirliğini belirlemeye yardımcı olacaktır.
Hızlı güven kalibrasyonu için, iletilen şeyin AI'nın çıktılarına (yorumlanabilirlik sağlayan) ve AI'nın belirsizlik düzeyine ilişkin açıklamaları içermesi gerektiğini öneriyoruz. Bu öneri, güven kalibrasyonunun bir sistemin yeteneklerini (yorumlanabilirlik yoluyla sağlanan) ve sistem çıktılarının güvenilirliğini (belirsizlik tahminleri aracılığıyla sağlanan) anlamayı gerektirdiğini öne süren karar verme literatürü tarafından desteklenmektedir. Sonraki bölümlerde bu görüşü daha da haklı çıkaracağız ve bu iki yönün bir koalisyon operasyonunda nasıl hızlı bir güven kalibrasyonu sağlayabileceğine dair somut bir örnek sunacağız. Tartışma bölümünde, iletişimin biçiminin ve koşullarının etkilerini ve kiminle iletişim kurulduğunu dikkate almanın yanı sıra , ilgili teknik zorluklara dönüyoruz .

Neden Yorumlanabilirlik?

Doshi-Velez ve Kim YZ ve insan aracıların uyumsuz hedeflere sahip olduğu durumlarda yorumlanabilirliğin gerekli olduğunu savunur. Bu, pratikte, özellikle karmaşık karar senaryolarında muhtemeldir: AI sistemleri, matematiksel olarak iletilebilen dar bir hedefler kümesini optimize etmek için eğitilir, ancak çıktıları daha sonra insan tarafından bu hedeflerde asla ifade edilmeyen bir kararı bilgilendirmek için kullanılır. Görüntülerdeki farklı araç türlerini tanımak için eğitilmiş bir görüntü modeli düşünün. Bu model, bir analist tarafından bir düşman kuvvetinin tehdit düzeyini değerlendirmek için kullanılabilir. Model tarafından verilen aşağı yönlü kararın, bu araçların yeteneklerini ve ortaya koyduğu tehditleri gerçekten dikkate alması gerekir; Araçların belirli kategorileri doğrudan ilgili değildir. Ancak yapay zekanın araç yetenekleri kavramı yoktur: bunları yalnızca görüntü verilerine dayalı olarak tanımak üzere eğitilmiştir. Farklı yeteneklere sahip araçlar, eğitim verilerinde benzer görsel özelliklere sahip olabilir ve bu nedenle model tarafından daha sık karıştırılabilir. Bu durumda, uygun açıklamalar, ilgili görsel özellikleri vurgulayarak, yapay zekanın görüntüyü yorumlaması ile insanınki arasındaki uyumsuzluğu ortaya çıkararak ve yapay zekanın yeteneklerine ilişkin zihinsel modellerini güncellemelerine olanak tanıyarak bu sorunu insana açıklamaya yardımcı olabilir.
Eğitim mekaniğine ek olarak eğitim verilerinin kendisi de hedef uyuşmazlığı sorununa katkıda bulunur. Genellikle eğitim verilerinin öğrenmeye çalıştığımız dağılımı yeterince temsil ettiğini varsayarız. Birçok problem ve birçok veri türü için bu varsayım geçerli değildir. Koalisyon ortamında modeller, uygulandıkları yeni senaryoyu yeterince temsil etmeyen önceki operasyonlar sırasında toplanan veriler üzerinde eğitilebilir. Veriler, herhangi bir sayıda bilinmeyen şekilde kusurlu olabilir, dağıtımdan önce tanımlanması zor olan modellerde ölçülmemiş önyargılara yol açar. Operasyon sırasında bu önyargıları tanımlayan uygun açıklamalar, insanın AI'nın yeteneklerine ilişkin zihinsel modelini geliştirecektir.

Neden Belirsizlik?

Yorumlanabilirlik, insana yapay zeka sisteminin öğrendiklerine ve bu bilgiyi çıktılar üretirken nasıl kullandığına erişim sağlar. Yapay zekanın neyi bilmediğini anlamak, yapay zekanın yeteneklerine ilişkin uygun bir zihinsel model oluşturmak için de son derece önemlidir. Bunu yapmak için, AI sistemi çıktılarındaki belirsizliği tahmin edebilmelidir. Belirsizlik genellikle tek bir kavram olarak tanımlanır, ancak birkaç yazar farklı belirsizlik türlerini kategorize etme girişimlerinde bulunmuştur. Weisberg belirsizliği şüphe ve belirsizlik bileşenlerine ayırır; şüphe bir olasılık olarak ölçülebilirken, belirsizlik bilgi eksikliğinden kaynaklanır. Şüphe ve belirsizlik kabaca, makine öğrenimi ve istatistik literatüründe rastlantısal ve epistemik belirsizlik arasında yaygın olarak yapılan bir ayrıma karşılık gelir. Aleatorik belirsizlik (şüphe), modellenen sistemin doğasında var olan belirsizliği (örneğin, stokastik davranış aracılığıyla) temsil ederken, epistemik belirsizlik (belirsizlik), sınırlı veri veya bilgiden kaynaklanan belirsizliktir. Örneğin, belirsizliğe duyarlı bir görüntü sınıflandırıcı, üzerinde eğitildiği görüntülere benzer, ancak sınıflar arasında seçim yapmak için yeterli ayırt edici özellikler içermeyen görüntüler için yüksek tesadüfi belirsizlik sergilemelidir; eğitim setindekinden farklı görünen görüntüler için yüksek epistemik belirsizliği tahmin etmelidir (örneğin, gürültülü bir görüntü veya bilinmeyen bir nesne sınıfının görüntüsü). Aleatorik belirsizlik azaltılamazken, epistemik belirsizlik daha fazla veri gözlemlenerek azaltılabilir. İnsanlar bu tür belirsizlikler hakkında farklı düşünüyor ve konuşuyor gibi görünüyor - epistemik için "kesin" ve "kendinden emin" ve şansa bağlı belirsizliğe atıfta bulunmak için "şans" veya "olasılık" gibi kelimeler kullanıyorlar.- sadece bilinçaltında olsa ve matematiksel modellemede sık sık karıştırılmalarına rağmen.
Koalisyon senaryosundaki epistemik belirsizliği anlamak özellikle önemlidir. Bir operasyonun başlangıcında, koalisyon ortakları, geçmiş verilerle eğitilmiş yapay zeka sistemlerini konuşlandıracak. Ortamdaki farklılıklar ve rakiplerin davranışlarındaki değişiklikler nedeniyle, bunun yeni bir ortamda mevcut olan veri dağılımlarını yeterince yakalaması olası değildir. Koalisyon operasyonu sırasında yapay zekaya gerçek girdi verilerinin çoğu bu nedenle dağıtım dışı olacaktır (yapay zekanın üzerinde eğitildiği dağıtımın bir parçası değildir), bu da sistem daha önce kaç veri üzerinde eğitilmiş olursa olsun hatalara neden olacaktır. Bir operasyon devam ederken, modeller daha alakalı veriler üzerinde yeniden eğitilebilir, ancak mevcut veri miktarı sınırlı olacaktır (ve muhtemelen çelişkili ve düşük kaliteli olacaktır). Yapay zekanın bilgisi her zaman bu faktörler tarafından kısıtlanacağından, epistemik belirsizliğini iletmek, insanın yapay zekanın bilmediği şeylerin zihinsel bir modelini oluşturabilmesini sağlamak için çok önemlidir.

Örnek Senaryo

Şekil 1'de gösterilen aşağıdaki senaryo, hem yorumlanabilirlik hem de belirsizlik iletişiminin insan-yapay zeka ekibi performansını nasıl iyileştirebileceğini gösterir. Farklı türde düşman araçlarını tanımlayabilen bir sinir ağı modelini besleyen bir kamera da dahil olmak üzere koalisyon tarafından ileri pozisyonlarda konuşlandırılan çeşitli otonom sensörlere ve AI hizmetlerine erişimi olan, operasyon alanındaki düşman faaliyetinin seviyesini değerlendiren bir analist düşünün. Gözetleme görevleri sırasında bir araç tespit edilir ve modele göre sınıflandırılır. Analist, sınıflandırma açıklamasını incelerken, modelin aracın kamuflaj desenine odaklandığını görür. Analist, düşmanın çeşitli kamuflaj desenleri kullandığını ve bunların araca bağlı olmadığını bildiğinden (bu, model orijinal olarak eğitildiğinde bilinmiyor olabilir),Şekil 1 C). Bu nedenle, güvenlerini uygun şekilde kalibre edebildiler ve yapay zekanın yeteneklerine ilişkin zihinsel modellerini güncellediler.

Aynı gözetleme operasyonu sırasında başka bir araç, yüksek epistemik belirsizliğe sahip modele göre sınıflandırılır ( Şekil 1 D). Analistin bilmediği, düşman yeni bir kamuflaj modeli geliştirdi ve bu araçları operasyon alanında konuşlandırmaya başladı. Bu örüntü, modelin eğitim verilerinde ortaya çıkmadığından, yüksek düzeyde epistemik belirsizlik bildirir ve böylece analisti, sınıflandırma çıktısına güvenmemesi gerektiği konusunda uyarır. Bu durumda, yalnızca bir açıklama sağlamak yanıltıcı olabilir: girdi görüntüsü dağıtım dışıdır, bu nedenle eşlendiği gizli uzay bölgesi anlamlı değildir ve potansiyel olarak kafa karıştırıcı veya anlamsız açıklamalara yol açar.
Bu örnek biraz yapmacık ve fazlasıyla basitleştirilmiş olsa da, yorumlanabilirlik ve belirsizlik farkındalığının hızlı güven kalibrasyonuna nasıl katkıda bulunduğunu göstermeye yardımcı olur. Bu basitleştirilmiş senaryoyu başka alanlara da daha kolay aktarabiliriz. Örneğin, tıbbi görüntüleme teşhisinde, uygun yorumlanabilirlik, bir radyoloğun yapay zeka sisteminin kendi uzman bilgileriyle ne kadar uyumlu olduğunu değerlendirmesine olanak tanıyarak modelin her yeni vaka için sapmalarını belirlemesine olanak tanır. Epistemik belirsizlik, AI'nın eğitimindeki boşlukları hızlı bir şekilde belirlemelerine olanak tanır - bu, modeller farklı hasta popülasyonlarına sahip farklı konumlarda devreye alındığında kaçınılmazdır.

Tartışma

Teknik Zorluklar: Kim Neyi İletir?

Yorumlanabilirlik ve belirsizlik tahminleri insan-yapay zeka karar verme sürecini iyileştirmek için kullanılmadan önce, her ikisini de oluşturmak için güvenilir yöntemlere ihtiyacımız var. Bu, henüz tam olarak çözülmemiş zorlu teknik zorluklar doğurur.

yorumlanabilirlik

Çözümlerden biri, model yapısından doğal olarak doğru açıklamaların üretilebilmesi için doğası gereği yorumlanabilir modeller kullanmaktır. Bazı yazarlar, yorumlanamayan modeller için açıklamalar yaratmaya çalışırken hem teknik hem de kavramsal sınırlamalar nedeniyle bu yaklaşımın yüksek riskli karar verme için kabul edilebilir tek çözüm olduğunu öne sürdüler. Aslında, "post hoc" açıklamalar üretmeye yönelik güncel araştırmaların çoğu (yorumlanamayan) sinir ağı çıktılarının doğrulanması zor tekniklerle sonuçlanmıştır, bazı başarısız temel akıl sağlığı kontrolleri ile. Bu, yüksek riskli karar desteği için sinir ağı modellerinin kullanılmasını engelleyecektir.
Bununla birlikte, özellikleri düşük seviyeli verilerden otomatik olarak öğrenme yetenekleri, sinir ağlarının, özelliklerin elle oluşturulmasının zor olduğu alanlarda, örneğin resimlerden, sesten, videodan, sensör akışlarından ve doğal dilden öğrenme gibi alanlarda iyi performans gösterdiği anlamına gelir. Bunlar tam olarak koalisyon operasyonları sırasında ve tıp ve otonom sürüş gibi diğer yüksek riskli alanlarda kullanmakla ilgilendiğimiz türden veri kaynaklarıdır. Nöral ağların güçlü temsil kapasitesini, doğal yorumlanabilirliklerini geliştiren tekniklerle birleştirmek, umut vaat eden çeşitli yaklaşımlarla aktif bir araştırma alanıdır.

Belirsizlik Ölçümü

Epistemik belirsizliği ölçmek, modelin üzerinde eğitildiği veri dağılımından yeni girdilerin ne kadar uzakta olduğunu doğru bir şekilde tahmin etme aracına sahip olmasını gerektirir. Yaygın bir yaklaşım, epistemik belirsizliğin model parametrelerinde belirsizlik olarak yakalandığı Bayesçi yöntemleri kullanmaktır. veya örneğin Gauss süreçleri kullanılarak fonksiyon uzayında belirsizlik olarak. Bir başka umut verici yaklaşım, kanıta dayalı öğrenmedir. burada girdiler, sınıflar üzerinden bir Dirichlet dağılımının parametrelerine eşlenir. Daha küçük parametre değerleri, bir sınıf için daha az kanıtı temsil eder ve daha büyük epistemik belirsizliği temsil eden daha geniş bir dağılım üretir. Bu yaklaşım aynı zamanda öznel mantık çerçevesine doğrudan bir haritalamadan da yararlanır. Sübjektif mantık, koalisyon ortamında yapay zeka uygulamaları için birçok çekici özelliğe sahiptir ve mantıksal akıl yürütme işlemleri sırasında tesadüfi ve epistemik belirsizliğin dikkate alınmasına izin vermenin yanı sıra farklı güven düzeylerine sahip kaynaklardan gelen öznel kanıtları dahil etmek için bir çerçeve sağlar.
Bu yöntemlerin hepsinin, üstesinden gelinmesi için daha fazla araştırma gerektiren ilişkili sorunları vardır. Bayes yöntemleri, çıkarım zamanında hesaplama maliyetlerini artıran örnekleme yaklaşımlarına dayanırken, Gauss süreçleri yüksek boyutlu sorunlara ölçeklenirken sorunlar sunar. Belirsizlik tahminleri, hem yaklaşımların özelliklerine hem de kullanılan önceki olasılık dağılımlarına bağlıdır. Kanıta dayalı öğrenme yaklaşımı, sınıflandırıcıya emin olmaması gereken girdi bölgelerinin açıkça öğretilebilmesi için dağıtım dışı örnekler oluşturmak için üretken bir model öğrenir. ancak bu, eğitim sürecinde zorluklara neden olur. Epistemik belirsizlik tahminlerinin değerlendirilmesi de zordur: temelde özneldirler. yüksek epistemik belirsizlik vakaları büyük ölçüde önceki tarafından yönlendirilir, bu nedenle bu tahminlerin geçerliliğini değerlendirmek için ölçütleri tanımlamak kavramsal olarak zordur.

Belirsizlik Açıklamaları ve Açıklamalardaki Belirsizlik

Model belirsizliğinin nedenleri için açıklamalar oluşturmak ve çıktıların açıklamalarındaki belirsizliği tahmin etmek, görece az keşfedilmiş alanlardır. Epistemik belirsizlik, bir girdinin herhangi bir özellikte eğitim verisine benzememesi veya daha önce görülmemiş bir kombinasyonda bir dizi bilinen özellik içermesi nedeniyle ortaya çıkabilir. Bu durumlar arasında ayrım yapmak, potansiyel olarak daha fazla sorgulamanın farklı hatlarına işaret ederek karar vericiye yardımcı olabilir. Bu tür açıklamalar ancak son zamanlarda araştırılmaya başlandı.
Açıklamalar ayrıca, özellikle modelin muhakeme izini özetliyorsa, bazı belirsizliklere sahip olabilir. Bildiğimiz kadarıyla, yalnızca bir çalışma açıklamalardaki belirsizliği araştırmıştır: Merrick ve Taly özellik önemini tahmin etmek için yaygın olarak kullanılan bir yöntem olan Shapley değerlerinin varyansını hesapladı. Bu aynı zamanda yeterince keşfedilmemiş bir araştırma alanıdır, ancak açıklama güvenilirliğini değerlendirmek için önemli çıkarımlara sahip olabilir.

İnsan Faktörleri Zorluklar: Ne Şekilde, Hangi Koşullarda, Kime

Yorumlanabilirlik ve belirsizlik farkındalığı için teknik çözümler ne kadar iyi olursa olsun, insanlar için erişilebilir ve yararlı hale getirilmedikçe yararsız olacaktır. Yapay zeka ve veri bilimi araştırmacıları, hızlı güven kalibrasyonunu kolaylaştırmaya yönelik en iyi yaklaşımları bulmak için insan bilgisayar etkileşimi (HCI), psikoloji ve sosyal bilimler araştırmacılarıyla ilişki kurmalı ve işbirliği yapmalıdır.

Otomasyon Önyargısı ve Algoritma Önyargısı

Otomasyon yanlılığı, güven kalibrasyonunu engelleyen iyi çalışılmış bir olgudur. İnsanlar kendi düşünce ve yargılarının yerine bilgisayar çıktılarını kabul ettiklerinde algoritmik çıktılara çok fazla güvenmelerine yol açtığında ortaya çıkar. Çeşitli araştırmalar, kullanıcının bilişsel yükü de dahil olmak üzere otomasyon yanlılığını etkileyen farklı faktörleri incelemiştir. karar sürecinde kullanıcının hesap verebilirliği,  ve uzmanlık ve eğitim düzeyleri. Tersine, algoritmadan kaçınma, insanlar aslında insanlardan daha iyi performans gösteren algoritmaları dikkate almadığında ortaya çıkar ve böylece güven kalibrasyonunu otomasyon yanlılığının tersi yönde etkiler.Bu etki en çok, insanların hatalara yanıt olarak bir algoritmanın tavsiyesine olan güvenini çok hızlı bir şekilde kaybetme eğiliminde olduğu tahmin görevleri bağlamında incelenmiştir; aksine, aynı hataları yapan diğer insanlara duyulan güven daha yavaş azalır. Diğer deneyler, yalnızca uzman tahmincilerin algoritmadan kaçınmaya duyarlı olduğunu, sıradan kullanıcıların ise algoritmik tavsiyeye güvenme olasılığının daha yüksek olduğunu öne süren çelişkili sonuçlar üretti.
Otomasyon yanlılığının veya algoritmadan kaçınmanın karar desteği için kullanılan yapay zeka üzerindeki olası etkileri belirsizdir. Açıklamaların, insanların geleneksel karar verme yardımcılarına aşırı derecede güvenmelerine neden olma eğilimine ilişkin bazı sonuçlar, yapay zeka tabanlı yardımcılara aktarılıyor gibi görünüyor. ancak etkiler, sağlanan açıklamaların belirli özelliklerine bağlı olacaktır. Bir yapay zeka sisteminin sağlayabileceği pek çok farklı türde açıklama vardır. bu nedenle, farklı açıklama türlerinin güven kalibrasyonu üzerindeki etkisine ilişkin gelecekteki araştırmalara, insanların açıklamaları nasıl anladıklarına ilişkin sosyal bilimlerde kazanılan bilgiler rehberlik etmelidir. Açıklamalarla birlikte belirsizlik tahminleri sağlamak da güven kalibrasyonunu iyileştirebilir, ancak bu alanda daha araştırma yapılması gerekiyor. Özellikle, bir sonraki bölümde açıklandığı gibi, insanlar olasılıklarla akıl yürütme konusunda doğal olarak yetkin değildir.

Belirsizliğin İletişimi

Van der Bles ve ark. gerçekler, sayılar ve bilim hakkında epistemik belirsizlik iletişimini araştırdı, ancak epistemik belirsizliğin karar vermeyi nasıl etkilediğine dair hiçbir sistematik çalışma bulamadı (pek çok çalışmanın epistemik belirsizliği rastlantısal belirsizlikten ayırmadığına dikkat çekerek). Bununla birlikte, en ünlüsü Kahneman ve Tversky'ninkiler de dahil olmak üzere birçok makale, insanların olasılıksal bilgileri nasıl anladıklarına baktı.Bu çalışma, insanların olasılıklarla akıl yürütmede iyi olmadıklarını, düzenli olarak temel oran yanılgısı gibi hatalar yaptıklarını gösterdi. O zamandan bu yana yapılan araştırmalar, bu tür bazı hataların, olasılıkları olayların frekansları olarak insanların doğal zihinsel temsillerine daha yakın bir biçimde sunarak hafifletilebileceğini öne sürdü. İnsanların tesadüfi ve epistemik belirsizlikleri doğal olarak farklı tanımladıkları gözlemiyle birleştiğinde, bu, kullanıcılara olasılıksal belirsizlik bilgilerini sunmak için uygun formlar bulmanın, bu bilgileri bir AI sistemindeki güven kalibrasyonlarını iyileştirmek için kullanmalarına izin verebileceğini göstermektedir. Bazı araştırmalar, belirsizliğin veya güvenin olasılıksal olmayan belirli temsillerinin, belirli ortamlarda gelişmiş güven kalibrasyonuna yol açabileceğini bulmuştur. ancak farklı koşullar altında farklı belirsizlik türlerini temsil etmenin en iyi yolunu ve yorumlanabilirlik ve belirsizlik farkındalığı özelliklerinin en iyi nasıl birleştirileceğini anlamak için daha fazla çalışmaya ihtiyaç vardır.

Araştırmacılar ve Uygulayıcılar İçin Öneriler

Yukarıdaki tartışma, bizi bu konularda gelecekteki araştırmalar için aşağıdaki önerilerin yanı sıra günümüzde karar destekli yapay zeka ile çalışan veri bilimi uygulayıcıları için önerilere yönlendiriyor.

Araştırmacılar

Yorumlanabilirlik ve belirsizlik farkındalığı, şu anda AI araştırmasında, özellikle de standart yöntemlerin bu özelliklerin hiçbirini sağlamadığı derin öğrenme topluluğunda çok aktif konulardır. Bu araştırma, çeşitli düzeylerde arka plan bilgisi ve farklı rolleri ve hedefleri olan insanların farklı açıklamaları ve belirsizlik bilgilerini nasıl yorumladıklarına dair daha derin bir değerlendirmeden hâlâ yoksundur. HCI topluluğundan önemli araştırmalar bu soruları araştırmış olsa da, AI ve HCI araştırmacılarının yanı sıra istatistikçiler ve belirsizlik hakkında iletişim kurma konusunda deneyimli diğerleri arasında daha fazla işbirlikçi çalışma, teknik araştırmayı farklı insan paydaşları için gerçekten yararlı olan yöntemler geliştirmeye odaklamak için çok önemli olacaktır. Bu alanlardaki araştırmacıların Lasswell'in iletişim modelini kullanmalarını öneriyoruz. tartışmalarını şekillendirmeye yardımcı olmak için ortak bir referans olarak yukarıda özetlenmiştir.

Veri Bilimi Uygulayıcıları

Yorumlanabilir, belirsizliğe duyarlı yapay zeka sistemleri oluşturmaya yönelik en iyi uygulamaları oluşturmak için daha fazla araştırma gerekli olsa da, veri bilimcileri ve geliştiriciler bu fikirleri oluşturdukları yapay zeka karar destek sistemlerine dahil etmeye başlayabilir. Açıklama önemlidir, ancak yapay zeka sistemlerinde açıklayıcı mekanizmaların sağlanmasının, çeşitli kullanıcı/paydaş sınıflarına özgü açık gereksinimlerle (yazılım mühendisliği terimleriyle) yönlendirilmesi gerekir. Geliştiricilerin çabalarını, kullanıcı gereksinimlerini (1) yapay zekanın çıktılarına yönelik açıklamalar (yorumlanabilirlik için) ve (2) yapay zekanın tesadüfi ve epistemik belirsizlik düzeyinin iletişimi ve yakın işbirliğini sağlama açısından çerçeveleyerek hızlı güven kalibrasyonu sağlamaya odaklamalarını öneriyoruz. Bu faktörlerin uygun iletişimini sağlamak için tüm ilgili paydaşlarla. Yine Lasswell'in iletişim modeli bu işbirliklerini çerçevelemek için yararlı olabilir.

Çözüm

AI, karar desteğinde kullanım için büyük umut vaat ediyor. Potansiyelini gerçekleştirmek için, insanların güçlü ve zayıf yönlerini anlamalarına yardımcı olan ve hızlı güven kalibrasyonuna izin veren yapay zeka sistemleri oluşturmalıyız. Bu, AI hizmetlerinin dağıtım dışı verilerle karşılaşmasının muhtemel olduğu ve operatörlerin, eğitim veya etkileşim yoluyla AI'nın yeteneklerine ilişkin yeterli zihinsel modelleri oluşturmak için zamanlarının olmayacağı askeri operasyonlarda özellikle önemlidir. Bu Perspektifte, hem yorumlanabilir hem de belirsizliğin farkında olan yapay zeka hizmetleri oluşturmayı önerdik ve bu iki özelliğin birlikte nasıl hızlı güven kalibrasyonunu kolaylaştırabileceğini gösterdik. Gelecekteki araştırma çabalarını yapılandırmak için Lasswell'in iletişim modeli tarafından sağlanan çerçevenin kullanılmasını öneriyoruz.
Yapay zekadan insana tek yönlü iletişime odaklanmış olsak da uzun vadeli hedefimiz, insan-yapay zeka ekibinin üstesinden geldikleri sorun alanına ilişkin ortak bir kavramsallaştırma oluşturabilmeleri için çift yönlü iletişimi mümkün kılmaktır (bkz . Şekil 2 ). Bu yaklaşım, klasik ("eski moda") yapay zekada incelendi ve Semantik Web ile sonuçlanan ontoloji teknolojilerinin yaratılmasına yol açtı; Bu alandaki önceki çalışmalarımız, insan-makine işbirliği için bir ortam olarak kontrollü doğal dile odaklandı ve doğal ve yapay etmenlerin aynı dilbilimsel olarak ifade edilen bilgiler üzerinde çalışmasına izin verdi. Yapay zekadaki alt simgesel modellere dayanan son atılımlar, yalnızca yapay zekanın dahili temsilleri iletilebilir terimlerle dışsallaştırılabilirse ve aynı terimler insan tarafından yapay zekanın dahili temsillerini bilgilendirmek için kullanılabilirse bu yaklaşımlarla uyumludur. Bu, hem açıklanabilir hem de anlatılabilir bir sistem yaratır: ona doğrudan insanın anlayabileceği terimlerle yeni bilgiler sağlayabiliriz. Bu sadece insan ekip üyesinin güven kalibrasyonuna fayda sağlama potansiyeline sahip değildir. ama aynı zamanda yapay zekanın takım arkadaşının bilgisini ve önyargılarını değerlendirmesine ve böylece insana olan güvenini kalibre etmesine olanak tanıyarak potansiyel olarak onun iletişim stratejisini insanın kusurlarını hesaba katacak şekilde değiştirmesine izin verir. Anlatılabilir sistemler oluşturmak için, insanların ve makinelerin dünyanın ortak kavramsallaştırmaları üzerinde çalışmasına izin vermek için sembolik yapay zeka unsurlarını başarılı sembolik olmayan yaklaşımlarla birleştiren yaklaşımlarda umut vaat ediyoruz. Bunun en iyi şekilde nasıl başarılabileceği şu anda yapay zekada önemli bir açık problemdir.