เมื่อ AI ตรวจสอบกันเอง ‘CriticGPT’ เครื่องมือช่วยตรวจโค้ดที่ ChatGPT เขียน

OpenAI เปิดตัว CriticGPT ซึ่งเป็นโมเดลที่พัฒนาจาก GPT-4 ทำหน้าที่ตรวจสอบคำตอบของ ChatGPT เพื่อช่วยมนุษย์ค้นหาข้อผิดพลาด ยกระดับการเขียยนโค้ดให้ แม่นยำ น่าเชื่อถือมากขึ้น และเพื่อเรียนรู้แบบเสริมกำลังจากข้อมูลป้อนกลับของมนุษย์ (Reinforcement Learning from Human Feedback (RLHF) )

OpenAI เผยว่าได้พัฒนาโมเดลชื่อ CriticGPT โดยใช้ GPT-4 เป็นฐาน เพื่อค้นหาข้อผิดพลาดในโค้ดที่ ChatGPT สร้างขึ้น เราพบว่าเมื่อคนได้รับความช่วยเหลือจาก CriticGPT ในการตรวจสอบโค้ดจาก ChatGPT 

จากการทดสอบชี้ว่า โค้ดที่ผ่านการตรวจสอบด้วย CriticGPT มีประสิทธิภาพสูงกว่าการไม่ใช้ AI ตรวจสอบถึง 60% เนื่องจากสามารถในการวิเคราะห์จุดละเอียดอ่อนและซับซ้อนที่มนุษย์อาจมองข้าม
 

CriticGPT ใช้ระบบ Reinforcement Learning from Human Feedback (RLHF) โดยอาศัยผู้ฝึกสอนมนุษย์ (AI trainers) ให้ฟีดแบ็กเพื่อปรับปรุงประสิทธิภาพ แก้ปัญหาที่ ChatGPT มีความซับซ้อนมากขึ้นจนยากแก่การตรวจจับข้อผิดพลาด

เฉพาะอย่างยิ่ง ChatGPT ได้พัฒนาตัวเอง ให้มีเหตุผลมากขึ้น ส่วนผลลัพธ์ที่ผิดพลาดก็ยิ่งแยบยลขึ้น ทำให้ผู้เชี่ยวชาญด้าน AI จับข้อผิดพลาดได้ยากขึ้น นี่เป็นข้อจำกัดพื้นฐานของระบบ RLHF และอาจเป็นอุปสรรคต่อการพัฒนา AI ให้เหนือกว่ามนุษย์ที่ให้คำแนะนำได้

เพื่อช่วยแก้ปัญหานี้ Open AI ได้ฝึก CriticGPT ให้เขียนคำวิจารณ์ที่ชี้ให้เห็นความไม่ถูกต้องในคำตอบของ ChatGPT

อย่างไรก็ตามข้อเสนอแนะของ CriticGPT อาจไม่ถูกต้องเสมอไป แต่เราพบว่ามันช่วยให้คนป้อนข้อมูลได้พบปัญหาในคำตอบที่โมเดลเขียนได้มากกว่าการทำงานโดยไม่มีความช่วยเหลือจาก AI 

นอกจากนี้ ยังช่วยเสริมให้คนที่ใช้ CriticGPT AI ได้เพิ่มทักษะขึ้นไปอีก ทำให้ได้คำตอบที่ชัดเจนว่าระบบนี้ดีกว่าใช้โดยไม่มีตัวช่วยตรวจสอบ 

อย่างไรก็ตาม CriticGPT ยังต้องพัฒนาตัวเองต่อไป เพราะการทดสอบ ChatGPT มันค่อนข้างสั้น และต้องเพิ่มการรองรับงานที่ซับซ้อนและยาวขึ้น ลดการสร้างข้อมูลที่ไม่มีอยู่จริง (Hallucination) เพิ่มความแม่นยำของคำแนะนำ ขยายความสามารถให้ครอบคลุมภาษาโปรแกรมมิ่งและเฟรมเวิร์กที่หลากหลาย และเพิ่มมาตรการปกป้องข้อมูลอ่อนไหวในโค้ดที่ถูกวิเคราะห์

ทีมวิจัยของ OpenAI เชื่อว่าการพัฒนา AI ที่ซับซ้อนยิ่งขึ้นนั้นต้องอาศัยเครื่องมือที่ทรงพลังกว่าเดิม และหนึ่งในแนวทางที่น่าสนใจคือการใช้ระบบ RLHF ร่วมกับ GPT-4 ซึ่งเป็นโมเดล AI ขั้นสูงล่าสุด

ขั้นตอนต่อไป
เพื่อปรับระบบ AI ที่ซับซ้อนมากขึ้นเรื่อยๆ เราจำเป็นต้องมีเครื่องมือที่ดีกว่านี้ ในการวิจัยเกี่ยวกับ CriticGPT เราพบว่าการใช้ RLHF กับ GPT-4 มีแนวโน้มที่จะช่วยให้มนุษย์สร้างข้อมูล RLHF ที่ดีขึ้นสำหรับ GPT-4 กำลังวางแผนที่จะขยายงานนี้ให้กว้างขึ้นและนำไปใช้จริง