Kaliforniya orman yangınlarına karşı yapay zeka destekli chatbot geliştirdi, ancak güncel bilgilerde hatalar var. Kaliforniya Valisi Gavin Newsom’un 2023 yılında kamu hizmetlerinde verimliliği artırmak amacıyla yayımladığı yapay zeka genelgesinin ardından, eyalet kurumları generatif yapay zeka araçlarına yönelmeye başladı. Bu uygulamalardan biri, eyaletin orman yangınlarıyla mücadeleden sorumlu birimi olan Kaliforniya Ormancılık ve Yangından Korunma Departmanı (Cal Fire) tarafından geliştirilen bir chatbot.
Newsom’un ofisinden Mayıs ayında yapılan açıklamaya göre, bu yapay zeka destekli sohbet robotu, Kaliforniyalıların "yangın önleme kaynaklarına ve acil durum bilgilerine neredeyse gerçek zamanlı erişimini” sağlamayı hedefliyor. Ancak CalMatters tarafından yapılan incelemeler, chatbotun bazı yangınlar hakkında güncel olmayan bilgiler verdiğini, tahliye emirleriyle ilgili soruları yanıtlayamadığını ve acil durum çantası hazırlığı gibi konularda tutarsız yanıtlar sunduğunu ortaya koydu.
Yapay zeka uygulamaları yaygınlaşıyor ancak test süreçleri sorgulanıyor
Vali Newsom, trafik, konut ve kamu hizmetleri gibi alanlarda da yapay zeka uygulamalarının yakın zamanda devreye alınacağını duyurdu. Ancak Cal Fire’ın chatbotundaki sorunlar, devlet kurumlarının bu sistemleri kullanırken gerekli test süreçlerini takip edip etmediği konusunda soru işaretleri oluşturdu.
Stanford Üniversitesi Hukuk Profesörü Daniel Ho, "Değerlendirme sonradan düşünülecek bir adım değil” diyerek yapay zeka sistemlerinin pilot uygulama ve hayata geçirilme aşamalarında performans kriterlerinin önceden belirlenmesi gerektiğini vurguladı.
Chatbot bazı sorularda başarılı, bazılarında yetersiz kaldı
Chatbot, Cal Fire’ın resmi sitesi ile ReadyForWildfire.org adresindeki bilgilerden yararlanarak cevap üretiyor. South Carolina merkezli Citibot adlı şirket tarafından geliştirilen uygulama, Cal Fire’ın kamuya sunduğu çeşitli hizmetler hakkında bilgi verebiliyor. Kurumun iletişimden sorumlu başkan yardımcısı Issac Sanchez, chatbotun halkı daha iyi bilgilendirmek amacıyla geliştirildiğini belirtti.
CalMatters, chatbotun bazı temel sorulara doğru yanıt verdiğini, örneğin aktif yangınlar veya Cal Fire’ın görevleri gibi konularda başarılı olduğunu aktardı. Ancak soruların ifadesi değiştiğinde, verilen yanıtların da değiştiği ve bu durumun bilgiye ulaşımı zorlaştırdığı görüldü.
Örneğin “Tahliye çantamda ne olmalı?” sorusu, yangın sezonuna hazırlıkta hayati önemde olan acil durum kitleriyle ilgili detaylı bilgi verirken; aynı anlamı taşıyan “çantaya git”, “orman yangınına hazır ki̇t” veya “yangın hazırlık çantası” gibi ifadeler chatbot tarafından doğru şekilde anlaşılamadı ve kimi zaman ”Bu konuda emin değilim” yanıtı verildi.
chatbot Güncellik sorunu
Chatbotun bazı bilgilerde güncel verileri yansıtamadığı da görüldü. Örneğin San Bernardino County’deki 4.293 dönümlük Ranch Yangını hakkında "10 Haziran itibarıyla %50 kontrol altında” bilgisi paylaşıldı. Ancak CalMatters’ın soruyu yönelttiği tarihte yangının %85 oranında kontrol altına alındığı kamuya açık kaynaklarda yer alıyordu.
Ayrıca Cal Fire’daki açık pozisyonlar sorulduğunda chatbot "hiçbir pozisyon olmadığını” bildirdi. Oysa Kaliforniya’nın resmi iş ilanları sitesinde Cal Fire için başvuruya açık iki pozisyon bulunuyordu.
Tahliye emirlerinde yetersizlik ve çözüm çabaları
Chatbot şu an için tahliye emirleriyle ilgili doğrudan bilgi veremiyor. Sorulan “tahliye emrini kim verir?” sorusuna bazen doğru şekilde ”emniyet güçleri” cevabını verirken, bazı durumlarda cevapsız kalıyor.
Cal Fire’dan Sanchez, chatbotun bu tür sorulara yanıt vermesi gerektiğini kabul ediyor. “Eğer bir yangın için tahliye emri yoksa, yanıt şu şekilde olmalı: Bu olayla ilgili herhangi bir tahliye kararı görünmüyor” dedi.
Yaklaşık dört kişilik bir ekip tarafından test edilen chatbotun, gelen kullanıcı sorularına göre sürekli güncellendiği ve cevapların iyileştirilmeye çalışıldığı belirtildi.
Uzmanlar: Chatbotlar için kamu katılımı ve tarafsız değerlendirme şart
Stanford Üniversitesi’nden Daniel Ho’ya göre, chatbotların performansı için net değerlendirme kriterleri, tedarik sürecinden önce belirlenmeli ve mümkünse bağımsız bir kurum tarafından oluşturulmalı.
New York Eyalet Üniversitesi Albany Kampüsü’nden Mila Gascó-Hernandez ise, halkın chatbot kullanım sürecine erkenden dahil edilmesi gerektiğini, bu şekilde halkın ihtiyaçlarını daha doğru karşılayan sistemler geliştirilebileceğini ifade etti. “Vatandaşın chatbotu gerçekten kullanabilmesi için kullanıcı deneyimi ve katılımı çok önemli” diyen Gascó-Hernandez, yangın gibi kritik durumlarda doğruluk ve tutarlılığın hayati önemde olduğunu vurguladı.
Kaynak: The Markup
