عملکرد باورنکردنی پلتفرم Groq AI در اجرای Llama 3

دیروز، متا مدل جدید زبان بزرگ Llama 3 (Llama 3) را همزمان با معرفی هوش مصنوعی خود در اینستاگرام، واتس اپ و فیسبوک به ارائه دهندگان ابری معرفی کرد. اکنون برخی از کاربران شبکه های اجتماعی به اجرای این مدل روی پلتفرم هوش مصنوعی روی آورده اند توله سگ شما اشاره شده است که سرعت پردازش استثنایی است 800 نماد در ثانیه او فراهم می کند

عملکرد شگفت انگیز مدل Llama 3 بر روی پلت فرم Groq AI

همانطور که توسط مت شومر، بنیانگذار و مدیر عامل OthersideAI ارسال شده است منتشر شده استپلتفرم هوش مصنوعی Groq با استفاده از مدل متا Llama 3، سرعت استخراج بسیار سریع تا 800+ توکن در ثانیه را ارائه می دهد. اگرچه نه متا و نه گروک هنوز این موضوع را تایید نکرده اند، این ویژگی می تواند نشان دهنده جهش بزرگی نسبت به سایر خدمات هوش مصنوعی ابری باشد.

VentureBeat در گزارش خود در این مورد اعلام کرد که این ادعا درست است. (در این لینک می توانید خودتان در چت ربات Groq آن را امتحان کنید.)

پردازش 800 کاراکتر در ثانیه (یا حدود 48000 کاراکتر در دقیقه) Llama 3 به اندازه‌ای سریع است که مدل‌های هوش مصنوعی همچنان می‌توانند حدود 500 کلمه در دقیقه تولید کنند. همچنین تحت این شرایط، سرعت استنتاج Llama 3 از دیگر مدل‌های زبان بزرگ موجود امروزی در پردازنده‌های گرافیکی ابری سنتی سریع‌تر است.

توسعه یک معماری جدید توسط Groq برای محاسبات یادگیری عمیق

استارت‌آپ Groq مستقر در سیلیکون ولی در حال توسعه یک معماری پردازنده جدید است که برای عملیات ضرب ماتریس، قلب محاسبات یادگیری عمیق، بهینه شده است. Groq ادعا می کند که این معماری می تواند عملکرد و کارایی بسیار بالاتری را برای استنتاج هوش مصنوعی ارائه دهد، و امتیاز عملکرد پردازش 800 کد در ثانیه Lama 3 به این ادعا اعتبار می بخشد.

معماری Groq در مقایسه با طرح های مورد استفاده توسط انویدیا و سایر سازندگان تراشه تفاوت های قابل توجهی دارد. این استارت آپ به جای تطبیق پردازنده های همه منظوره برای هوش مصنوعی، پردازنده Tensor Streaming خود را برای تسریع الگوهای محاسباتی یادگیری عمیق خاص ساخت.

خود متا پس از انتشار Lama 3 ادعا کرد که این مدل زبان عملکرد بهتری نسبت به اکثر رقبا دارد. در حال حاضر این مدل در دو نسخه یکی با 8 میلیارد و دیگری با 70 میلیارد پارامتر ارائه شده است. متا می گوید که میزان تنوع در پاسخ های ارائه شده توسط این مدل نسبت به گذشته بیشتر است و به ندرت خطا یا سوالات بی پاسخ رخ می دهد. روش درک دستورات و نوشتن کدها نیز بهبود یافته است.

لازم به ذکر است که استارت آپ Groq هیچ ارتباطی با هوش مصنوعی Grok که متعلق به استارت آپ xAI ایلان ماسک است، ندارد.