مایکروسافت مدل‌های تقطیر شده DeepSeek R1 را به Copilot+ PC ها می‌آورد.

مجموعه DeepSeek دنیای موبایل را تسخیر کرد و اکنون به طرز شگفت انگیزی با پشتیبانی کامل مایکروسافت در حال گسترش به ویندوز است. دیروز، این غول نرم افزاری مدل DeepSeek R1 را به Azure AI Foundry خود اضافه کرد تا به توسعه دهندگان اجازه دهد برنامه ها و خدمات مبتنی بر ابر را با آن آزمایش و ایجاد کنند. امروز، مایکروسافت اعلام کرد که نسخه های تقطیر شده R1 را به رایانه های Copilot+ می آورد.

مدل‌های تقطیر شده ابتدا برای دستگاه‌های مجهز به تراشه‌های Snapdragon X، پردازنده‌های Intel Core Ultra 200V و سپس رایانه‌های مبتنی بر AMD Ryzen AI 9 در دسترس خواهند بود.

اولین مدل DeepSeek-R1-Distill-Qwen-1.5B (یعنی یک مدل ۱.۵ میلیارد پارامتری) خواهد بود و مدل‌های بزرگتر و توانمندتر ۷B و ۱۴B به زودی از راه خواهند رسید. اینها برای دانلود از Microsoft’s AI Toolkit در دسترس خواهند بود.

مایکروسافت مجبور شد این مدل‌ها را تغییر دهد تا آنها را برای اجرا روی دستگاه‌های دارای NPU بهینه کند. عملیاتی که به شدت به دسترسی به حافظه متکی هستند، روی CPU اجرا می‌شوند، در حالی که عملیات فشرده محاسباتی مانند بلوک ترانسفورماتور روی NPU اجرا می‌شوند. با این بهینه‌سازی‌ها، مایکروسافت توانست به زمان سریع برای اولین توکن (۱۳۰ میلی‌ثانیه) و نرخ توان عملیاتی ۱۶ توکن در ثانیه برای اعلان‌های کوتاه (زیر ۶۴ توکن) دست یابد. توجه داشته باشید که “توکن” شبیه به یک حرف صدادار است (نکته مهم این است که یک توکن معمولاً بیش از یک نویسه طول دارد).

مایکروسافت یک حامی قوی OpenAI (سازندگان ChatGPT و GPT-4o) است و سرمایه گذاری زیادی در آن انجام داده است، اما به نظر می رسد که طرفداری نمی‌کند – Azure Playground آن دارای مدل‌های GPT (OpenAI)، Llama (Meta)، Mistral (یک شرکت هوش مصنوعی) و اکنون DeepSeek نیز است.

به هر حال، اگر بیشتر به هوش مصنوعی محلی علاقه مند هستید، ابتدا AI Toolkit for VS Code را دانلود کنید. از آنجا، باید بتوانید مدل را به صورت محلی دانلود کنید (به عنوان مثال “deepseek_r1_1_5” مدل ۱.۵B است). در نهایت، روی Try in Playground ضربه بزنید و ببینید که این نسخه تقطیر شده R1 چقدر هوشمند است.

“تقطیر مدل”، که گاهی اوقات “تقطیر دانش” نامیده می شود، فرآیند گرفتن یک مدل هوش مصنوعی بزرگ (DeepSeek R1 کامل دارای ۶۷۱ میلیارد پارامتر است) و انتقال تا حد امکان دانش آن به یک مدل کوچکتر (به عنوان مثال ۱.۵ میلیارد پارامتر) است. این یک فرآیند عالی نیست و مدل تقطیر شده نسبت به مدل کامل توانایی کمتری دارد – اما اندازه کوچکتر آن به آن اجازه می دهد تا مستقیماً روی سخت افزار مصرف کننده (به جای سخت افزار اختصاصی هوش مصنوعی که ده ها هزار دلار هزینه دارد) اجرا شود.

منبع:gsmarena