Elon Musk รับข้อมูลสำหรับฝึกฝน AI เหลือน้อยเต็มที

ในการสนทนาผ่านแพลตฟอร์ม X (เดิม Twitter) เมื่อคืนวันพุธที่ผ่านมา Musk ได้ให้ความเห็นว่า "พวกเราได้ใช้องค์ความรู้สะสมของมนุษยชาติไปจนหมดแล้วในการฝึกฝน AI ซึ่งเหตุการณ์นี้เริ่มเกิดขึ้นตั้งแต่ปีก่อน" 

Musk ผู้เป็นเจ้าของบริษัท xAI ได้สะท้อนประเด็นเดียวกับที่ Ilya Sutskever  อดีตหัวหน้านักวิทยาศาสตร์ของ OpenAI ได้กล่าวไว้ที่การประชุม NeurIPS ในเดือนธันวาคม ซึ่ง Sutskever ระบุว่าอุตสาหกรรม AI ได้เดินทางมาถึงจุดที่เรียกว่า "จุดพีคของข้อมูล" และคาดการณ์ว่าเมื่อขาดแคลนข้อมูลสำหรับฝึกสอนโมเดล AI เราจำเป็นต้องหาหนทางใหม่เพื่อพัฒนาโมเดลในปัจจุบัน

Musk เสนอว่าข้อมูลสังเคราะห์ (ข้อมูลที่สร้างโดยโมเดล AI เอง) คือแสงสว่างที่ปลายอุโมง และจะเป็นวิธีเดียวที่จะช่วยเสริมข้อมูลจากองค์ความรู้สะสมของมนุษยชาติ ซึ่งบริษัทเทคโนโลยียักษ์ใหญ่อย่าง Microsoft, Meta, OpenAI และ Anthropic ก็กำลังใช้ข้อมูลสังเคราะห์ในการฝึกฝนโมเดล AI ของตน ขณะที่ Gartner ประเมินว่า 60% ของข้อมูลที่ใช้สำหรับโครงการ AI และการวิเคราะห์ในปี 2024 ล้วนถูกสร้างขึ้นจากการสังเคราะห์ทั้งสิ้น

โมเดล Phi-4 ของ Microsoft ที่เพิ่งเปิดให้ใช้งานได้ฟรีเมื่อวันพุธที่ผ่านมา ก็ได้รับการฝึกฝนด้วยทั้งข้อมูลจริงจากองค์ความรู้สะสมของมนุษยชาติผสานกับข้อมูลที่สร้างขึ้นด้วยคอมพิวเตอร์ ซึ่งเป็นวิธีการเดียวกับที่ Google ใช้พัฒนาโมเดล Gemma และ Meta ใช้ปรับปรุงโมเดล Llama นอกจากนี้  Anthropic ก็ใช้ข้อมูลประเภทนี้ในการสร้าง Claude 3.5 Sonnet ซึ่งเป็นระบบที่มีประสิทธิภาพสูง

การฝึกฝนด้วยข้อมูลสังเคราะห์มีข้อดีด้านการประหยัดต้นทุน สตาร์ทอัพ AI อย่าง Writer อ้างว่าโมเดล Palmyra X 004 ของพวกเขา ซึ่งพัฒนาโดยใช้แหล่งข้อมูลสังเคราะห์เกือบทั้งหมด มีค่าใช้จ่ายในการพัฒนาเพียง 700,000 ดอลลาร์ เมื่อเทียบกับโมเดลของ OpenAI ที่มีขนาดใกล้เคียงกัน ซึ่งใช้งบราว 4.6 ล้านดอลลาร์

อย่างไรก็ตาม ข้อมูลสังเคราะห์ก็มีข้อเสียเช่นกัน งานวิจัยบางชิ้นชี้ว่าข้อมูลสังเคราะห์อาจนำไปสู่การล่มสลายของโมเดล AI เนื่องจากโมเดลจะมีความ "สร้างสรรค์" น้อยลง มีความเอนเอียงมากขึ้น ไม่เป็นกลาง และอคติมากขึ้นจนในที่สุดอาจส่งผลเสียร้ายแรงต่อการทำงาน