“Bazı – öncül – neden bahsettiğimi merak etti ücretsiz erişilebilir sürüm (3.5) ücretli olan (4.0) yerine GPT sohbeti, ki bu daha iyi. Şimdi uygun fiyatlı yazılımla kaç tane ücretsiz yanıt alabileceğinizi test etmek istedim, ancak Jos Mulder testleri benim için yeni sürüm aracılığıyla yaptı ve gerçekten de sonuç daha iyi oldu. Yeni sürüm 60 üzerinden 33 puan yerine 60 üzerinden 50 puan alarak sınavı rahatlıkla geçiyor”.
“Kendini gerçekten ölçüp ölçmediği tartışması metnin anlaşılması karmaşık,” diye açıklıyor Marc van Oostendorpsadece dilbilimci değil aynı zamanda gazeteci – çünkü bir bakıma sohbet robotları kendilerine neyin sunulduğunu ve neye doğru yanıt verdiklerini gerçekten anlamıyor gibi görünüyor. Ancak bu tartışma çok felsefi ve ‘gerçek’ anlayışı ölçen ve robotlar tarafından değil, insanlar tarafından iyi bir şekilde yapılan alternatif testlere sahip olana kadar, pratik sonuçların ne olduğunu bile bilmiyoruz.”
“ChatGPT’nin ucuz versiyonu ile üstelik, ben birkaç problem – araştırmacı devam ediyor – metnin nasıl oluşturulduğunu gösterebilmekten çok, bir sınavın kurallarını anlamaktır. Metinleri karşılaştırın arasında mümkün değildir, ancak belki de esas olarak ikinci metinle ilgili sorulara cevap verilirken ilk metnin unutulmasındandır. Başka bir sorun da ChatGPT’nin şunları yapamamasıdır: saymak doğru – bir bilgisayar için kayıtsız değil – ve çok uzun cevaplar veriyor. 30 kelimelik bir sınır varsa, onu aşar. Düzelttiğinizde sadece ilk 30 kelimeye bakabiliyorsunuz ve belki de doğru cevap orada değil.”
Bu şimdiki zaman. Ama bakarak gelecek? “Bilgisayar yanıtları bulabilirse,” diye devam ediyor raporuna van Oostendorp, bunları değerlendirebilir bile. Şu anda düzeltmeyi tamamen bilgisayara emanet etmeye cesaret edemiyoruz, ama belki ikinci bir düzeltici görevi görebilir “öğretmenin işi doğru bir şekilde yapıp yapmadığını görmek için.”
“Sonraki sürümlerde bir sonraki adım – deneyi yapan öğretmen – ChatGPT’nin sınavları kendi başına oluşturması olabilir. Böylece her öğrenci, kendi seçtiği bir anda özel olarak hazırlanmış bir sınava girebilecek.”
“İlginç olan şey – dilbilimci yorumladı Roberta D’Alessandro Utrecht Üniversitesi’nin deney haberini İtalya’da yayması – Hollanda lise sınavının ‘begrijpend lezen’ yani metni anlama adlı bir bölüm içermesidir. Öğrenci, metnin imalarını, önerilen ancak söylenmeyenleri vb. anlamalıdır. Burada: ChatGPT, anlamayı çok iyi başardı. Her şeyi mükemmel bir şekilde anladı. Fransızca sınavında ChatGPT güzel bir 8″ puan aldı.
D’Alessandro gönderisinde “Aynı derecede ilginç olan şey, ChatGPT’nin MBO sınavında, yani profesyonel okulların olgunluğunda sefil bir şekilde başarısız olduğu sonucuna varıyor. İstihbarat var, ancak ChatGPT işlerin pratikte nasıl yapıldığını görmezden geliyor (bu da bir metindi) , uygulamalı bir sınav değil, ed)”.