Resmi web sitesinden erişilebilen Kumru, Türkiye'nin yapay zeka alanındaki yetkinliğini uluslararası arenada kanıtlamaya çalıştığı kilometre taşı olarak değerlendirildiği görülse de en basit sorulara dahi cevap veremediği, ilkokul seviyesindeki matematik sorularını yanlış çözdüğü iddia edildi.
KULLANICILARDAN HIZ VE DOĞRULUK ELEŞTİRİSİ
Yerli teknoloji girişimcisi VNGRS tarafından geliştirilen Kumru, Türkçe için özel olarak eğitilmiş ilk LLM olmasıyla büyük bir heyecan yaratmıştı. Ancak, modelin yayınlanmasının ardından yapılan testlerde, özellikle basit güncel bilgileri yanıtlama, karmaşık soruları çözme ve yaratıcı metin üretme konularında hız ve doğruluk eksiklikleri göze çarptı. Sosyal medyada hızla yayılan ekran görüntülerinde Kumru'nun "3+8?" gibi temel sorulara bile beklenmedik veya tutarsız cevaplar verdiği görüldü. Bu durum, modelin hatalı çıktı üretme eğilimi olan "halüsinasyon" problemine işaret etti ve kullanıcılar arasında mizah konusu oldu.
ERKEN AŞAMA VE ÖĞRENME DÖNGÜSÜ
Eleştirilere sessiz kalmayan Kumru'nun geliştirici ekibi, modelin şu anki performansının nedenlerini açıklayan bir duyuru yaptı. Ekip Kumru'nun henüz "pekiştirmeli öğrenme" aşamasında geçmediğini belirtti. Büyük dil modellerinin ilk versiyonlarında sıkça rastlanan bu durum, Kumru'nun da tıpkı ChatGPT'nin ilk öncülleri gibi, zaman zaman mantık hataları ve yanlış bilgiler üretebileceği anlamına geliyor. Geliştiriciler, modelin halihazırda eğitildiği devasa metin verilerinden istatistiki olarak öğrendiğini ancak doğru ve tutarlı yanıt verme yeteneğinin pekiştirmeli öğrenme ile iyileştireceğini vurguladı.
GELECEK İÇİN GÜNCELLEME SÖZÜ
Geliştiriciler, kullanıcı geri bildirimlerini titizlikle değerlendirdiklerini ve performansı artırmak için yoğun bir çalışma yürüttüklerini açıkladı. Kumru'nun gelecekteki güncellemelerle bu eksiklikleri gidereceği ve potansiyeline ulaşacağı belirtilirken, kullanıcıların bu erken aşamada sabırlı olmaları istendi. Teknoloji uzmanları ise, bu durumun küresel çaptaki LLM'lerin geliştirilme sürecinin doğal bir parçası olduğunu ve yerli bir modelin geliştirilmesinin dahi önemli bir başarı olduğunu dile getirdi. Ancak, ticari bir ürün haline gelmeden önce Kumru'nun daha kapsamlı bir eğitim ve test sürecinden geçmesi gerektiğinin altını çizdiler.
