Samsung, Yapay Zekâ Benchmark Çözümü TRUEBench’i Tanıttı

Samsung, AI verimliliğini ölçmek için geliştirdiği TRUEBench çözümünü tanıttı. 

Samsung Electronics, yapay zekâ verimliliğini ölçmek üzere geliştirdiği tescilli benchmark çözümü TRUEBench’i duyurdu. Samsung Research tarafından geliştirilen TRUEBench (Trustworthy Real-world Usage Evaluation Benchmark), büyük dil modellerinin (LLM) gerçek iş senaryolarında nasıl performans gösterdiğini değerlendirmek için tasarlandı.

Çözüm, içerik üretimi, veri analizi, özet çıkarma ve çeviri gibi yaygın kurumsal görevleri 10 temel kategori ve 46 alt başlıkta değerlendiriyor. Ayrıca, 12 dilde çalışan ve çok dilli senaryoları destekleyen 2.485 test seti içeriyor. Bu yönüyle yalnızca İngilizce odaklı geleneksel ölçütlerden ayrışıyor.

Samsung Electronics Dijital Deneyimler CTO’su ve Samsung Research Başkanı Paul (Kyungwhoon) Cheun, “TRUEBench, üretkenlik işlerinde değerlendirme standartları oluşturacak ve Samsung’un teknoloji liderliğini daha da pekiştirecek” dedi.

TRUEBench’in en dikkat çeken özelliği, insan ve yapay zekâ iş birliğiyle doğrulanan çapraz değerlendirme kriterleri. Bu sayede yalnızca yanıtların doğruluğu değil, aynı zamanda kullanıcıların örtük ihtiyaçlarına yanıt verme kapasitesi de ölçülüyor. Puanlama tabloları ve veri örnekleri ise Hugging Face üzerinde açık kaynaklı olarak paylaşılıyor. Böylece kullanıcılar, modellerin hız ve doğruluk açısından performansını eşzamanlı karşılaştırabiliyor.

Yapay zekâ modellerinin yalnızca doğruluk oranı değil, gerçek iş senaryolarındaki verimlilik düzeyi de rekabet avantajı yaratıyor. Samsung’un TRUEBench girişimi, özellikle çok dilli ortamda çalışan kurumların ihtiyaçlarını karşılayacak nitelikte. Küresel ölçekte hızla artan regülasyon baskısı ve model güvenilirliği tartışmaları göz önüne alındığında, daha şeffaf ve standartlaştırılmış değerlendirme araçlarına duyulan ihtiyaç giderek artıyor. TRUEBench, bu ihtiyaca yanıt verirken teknoloji şirketleri arasındaki kalite yarışını da ileriye taşıyacak.