ยิ่งใหม่ ยิ่งหลอน เมื่อ o3 และ o4mini แม่นยำน้อยกว่า AI รุ่นเก่า

ในช่วงที่ผ่านมาบริษัท AI ทยอยเปิดตัวผลิตภัณฑ์ใหม่ออกมาอย่างต่อเนื่อง โดยเฉพาะ OpenAI ที่มีการเปิดตัวเทคโนโลยีใหม่อย่างต่อเนื่อง โดยเฉพาะโมเดล GPT-o3 และ GPT-o4mini ที่สามารถคิดก่อนตอบพร้อมอ่านข้อมูลภาพไปด้วย ถือเป็นโมเดลรุ่นใหม่ที่อัดแน่นไปด้วยความล้ำสมัย

 

อย่างไรก็ตามโมเดลรุ่นใหม่ทั้งสองตัวนี้กลับประสบปัญหาใหม่ o3 และ o4mini ที่ได้รับการพัฒนากลับมีความแม่นยำในการให้คำตอบต่ำ และแสดงอาการหลอนมากกว่าโมเดล AI รุ่นเก่าที่เปิดให้บริการมาก่อน แตกต่างจากทุกครั้งที่โมเดลรุ่นใหม่มักมีความแม่นยำสูงกว่า

 

โดยจากผลการทดสอบภายในด้วยแบบทดสอบ PersonQA เกณฑ์มาตรฐานในการวัดความแม่นยำความรู้ของโมเดลเกี่ยวกับผู้คนพบว่า o3 จะเกิดอาการหลอนมากถึง 33% สูงกว่าโมเดลรุ่นเก่าอย่าง o1 ที่มีอาการหลอนที่ 16% และ o3mini ที่เกิดอาการหลอน 14.8% ส่วน o4mini ยิ่งแย่กว่าเมื่ออาการหลอนมากถึง 48%

 

ส่วนนี้สอดคล้องกับข้อมูลจาก Kian Katanforoosh ศาสตราจารย์พิเศษจาก Stanford University ที่ให้ความเห็นว่า จากการทดสอบเขียนโค้ดโมเดล o3 มีประสิทธิภาพด้านการเขียนโค้ดสูงมาก เหนือกว่าคู่แข่งเกือบทุกเจ้าที่มีอยู่ในท้องตลาด แต่หลายครั้งลิงก์อ้างอิงที่ทางโมเดลหยิบยกมาเป็นลิงก์เสียหายที่ไม่สามารถเข้าถึงได้

 

จริงอยู่สำหรับสัดส่วนงานที่เน้นความคิดสร้างสรรค์บางประเภท อาการหลอนของ AI อาจไม่ได้เป็นปัญหาเสมอไปแต่อาจช่วยให้เกิดแนวทางใหม่ แต่สำหรับธุรกิจส่วนใหญ่ เช่น งานโปรแกรมเมอร์ งานขาย หรืองานด้านกฎหมาย ความแม่นยำของข้อมูลอาจทำให้เกิดความเสียหายร้ายแรงได้

 

คงต้องรอดูต่อไปว่า OpenAI จะปรับปรุงคุณภาพโมเดลและแก้ไขเรื่องนี้ในรูปแบบใด