sparse models

الذكاء الاصطناعي والأتمتة

Mixture of Experts: كيف تجعل بنية MoE الذكاء الاصطناعي المتقدم في متناول الجميع

يُقدَّر أن GPT-4 يحتوي على نحو 1.8 تريليون معامل (parameter). غير أن معالجة أي رمز (token) واحد — كلمة واحدة أو علامة ترقيم — تُبقي الغالبية العظمى من هذه المعاملات