استارتاپ هوش مصنوعی  Hugging Face، با همکاری ServiceNow پلتفرم اتوماسیون جریان کار، StarCoder  را ایجاد کرد. StarCoder  یک ژنراتور کد متن‌ باز است که مجوزهای محدود کننده کمتری نسبت به برخی از ژنراتورهای دیگر دارد. نسخه اول StarCoder در سال گذشته به صورت آنلاین راه‌ اندازی شد و از آن زمان بر روی نسخه دوم، ژنراتور کد StarCoder 2، کار شده است.

نسخه های ژنراتور کد  StarCoder 2

ژنراتور کد StarCoder 2  یک مجموعه از مدل‌ های تولید کد است و تا به امروز با سه نسخه منتشر شده است. این سه نسخه عبارتند از:

1. مدل ۳ میلیارد پارامتر (۳B) که توسط ServiceNow آموزش دیده است.
2. مدل ۷ میلیارد پارامتر (۷B) که توسط Hugging Face آموزش دیده است.
3. مدل ۱۵ میلیارد پارامتر (۱۵B) که توسط Nvidia، جدیدترین حامی پروژه StarCoder، آموزش دیده است.

دو نسخه اول می‌ توانند بر روی اکثر پردازنده‌ های گرافیکی مدرن اجرا شوند.

(توجه کنید که “پارامترها” بخش‌ هایی از مدل هستند که از داده ‌های آموزشی، یاد گرفته شده‌ اند و در واقع مهارت مدل در حل یک مشکل را تعریف می‌ کنند، در این مورد تولید کد.)

قابلیت های ژنراتور کد StarCoder 2

مانند اکثر ژنراتورهای کد دیگر ،تولید کننده کد StarCoder 2  می‌ تواند راه ‌هایی برای تکمیل خطوط ناتمام کد پیشنهاد دهد و همچنین خلاصه‌ سازی کنند و قطعات کد را با استفاده از زبان طبیعی بازیابی کنند.

StarCoder 2  با داده‌های آموزشی ۴ برابر بیشتر از StarCoder اصلی (۶۷.۵ ترابایت در مقابل ۶.۴ ترابایت) آموزش دیده است و نتیجه‌ای با عملکرد بهبود یافته و هزینه‌های عملیاتی کمتر ارائه می ‌دهد.

StarCoder 2  می‌ تواند با استفاده از یک GPU  مانند Nvidia A100 در چند ساعت تنظیم شود تا برنامه ‌هایی مانند چت ‌بات‌ ها و دستیارهای کد نویسی شخصی ایجاد کند و به دلیل آموزش بر روی مجموعه داده ‌های بزرگتر و متنوع ‌تر از StarCoder اصلی (حدود ۶۱۹ زبان برنامه‌نویسی)، StarCoder 2  می‌ تواند پیش‌بینی ‌های دقیق‌ تر و آگاهانه تری از متن را انجام دهد.

Harm de Vries ، رئیس تیم توسعه StarCoder 2 ، در یک مصاحبه به TechCrunch  گفت: “StarCoder 2  به ویژه برای توسعه‌ دهندگانی که نیاز به ساخت سریع برنامه‌ ها را دارند، ایجاد شده است و توسعه‌ دهندگان می‌ توانند از قابلیت‌ های آن برای افزایش کارایی کد نویسی بدون از دست دادن سرعت یا کیفیت استفاده کنند.”

با در نظر گرفتن همه این موارد ، آیا ژنراتور کد StarCoder 2  واقعاً از دیگر ژنراتورهای کد موجود – رایگان یا پرداختی -برتر است؟ با توجه به معیارها، به نظر می‌ رسد که StarCoder 2  نسبت به یکی از نسخه‌ های Code Llama، به نام Code Llama 33B، کارآیی بیشتری دارد و در یک زیر مجموعه از وظایف تکمیل کد، دو برابر Code Llama 33B  سرعت دارد.

امنیت ژنراتور کد StarCoder 2

StarCoder 2 به عنوان مجموعه ای از مدل‌ های متن ‌باز، دارای مزیتی است که قابلیت استقرار محلی و یادگیری کد منبع یا پایگاه کد توسعه‌ دهنده را دارد – یک چشم‌ انداز جذاب برای توسعه‌ دهندگان و شرکت‌ ها که از افشای کد به یک هوش مصنوعی میزبان در ابر می ‌ترسند.

 در یک نظرسنجی انجام‌ شده توسط Portal26  و CensusWide  در سال ۲۰۲۳، ۸۵٪ از کسب ‌و کارها اعلام کردند که به دلیل مخاطرات حریم خصوصی و امنیتی – مانند به اشتراک ‌گذاری اطلاعات حساس توسط کارمندان یا آموزش تامین‌ کنندگان بر روی داده‌ های انحصاری _ از پذیرش ژنراتورهای کد مانند GenAI می‌ ترسند.

تمام مدل‌ های GenAI  نسخه‌ هایی از داده‌ هایی که بر روی آن‌ ها آموزش دیده‌اند، تولید می‌ کنند و این ممکن است توسعه ‌دهندگان را دچار مشکل کند.

در استفاده از ژنراتورهای کدی که بر روی کدهای کپی رایت آموزش دیده ‌اند، کاملاً احتمال دارد که حتی با فیلترها و تدابیر اضافی، ژنراتورها به طور ناخواسته کدهای کپی رایت را توصیه کنند و آن ‌ها را به عنوان کدهای دارای کپی رایت لیبل گذاری نکنند.

برخلاف ژنراتورهای کد که با استفاده از کدهای کپی رایت آموزش داده شده‌اند (به عنوان مثال GitHub Copilot (، StarCoder 2  تنها با استفاده از داده ‌های تحت لیسانس از Software Heritage، سازمان غیرانتفاعی ارائه دهنده خدمات آرشیوی برای کد، آموزش دیده است. قبل از آموزش StarCoder 2، BigCode تیم برنامه ‌ریزی   StarCoder 2، به صاحبان کد فرصت داد که اگر مایلند از مجموعه آموزشی خارج شوند.

 Leandro von Werra ، مهندس یادگیری ماشین Hugging Face و مدیر مشترک  BigCode ، اشاره کرد در حالی که اخیراً تعداد زیادی ژنراتور کد باز در دسترس است، تعداد کمی از آن‌ ها همراه با اطلاعاتی در مورد داده‌هایی که در آموزش آن‌ ها استفاده شده‌ است و چگونگی آموزش آنها ، عرضه شده‌اند.

von Werra در یک مصاحبه گفت: “یک مشکل علمی این است که به عنوان یک تولید کننده داده (یعنی کسی که کد خود را به GitHub آپلود می‌ کند)، نمی‌دانید که داده‌های شما چگونه و به چه شکلی استفاده شده‌اند.”

StarCoder 2  این مشکل را با شفافیت کامل در کلیه مراحل آموزش از جمع ‌آوری داده‌ های پیش ‌آموزش تا خود آموزش حل می‌ کند.

محدودیت های ژنراتور کد StarCoder 2

با این حال، مانند سایر مدل‌ های هوش مصنوعی، StarCoder 2  با محدودیت ‌هایی همراه است . در ادامه به برخی محدودیت های کلیدی اشاره می‌کنیم:

تعصب

همانند مدل‌ های مشابه، تولید کننده کد StarCoder 2  ممکن است تعصب ‌های موجود در داده ‌های آموزشی را نمایش دهد. به عنوان مثال، ممکن است کدی تولید کند که شامل تبعیض‌ های مرتبط با جنسیت یا نژاد باشد.

وابستگی به زبان

از آنجایی که این مدل اصولاً بر روی توضیحات به زبان انگلیسی و کد Python و Java آموزش دیده است، در مواقعی که با زبان‌ های غیر انگلیسی و کدهای با منابع کمتر مانند Fortran و Haskell  سروکار دارد، عملکرد ضعیف ‌تری دارد .

با این محدودیت‌ها، StarCoder 2  یک گام مهم در جهت ایجاد اعتماد و پاسخگویی در مدل‌ های هوش مصنوعی است. این مدل نمونه ‌ای از مدل ‌های کاملاً باز و شفاف را به نمایش می ‌گذارد، که اهمیت شفافیت و قابلیت حسابرسی در سراسر فرآیند مدل، از جمله داده‌ های آموزشی و دستورالعمل آموزش، را تأکید می‌ کند .

توسعه دهندگانی که علاقه مند به تجربه آفلاین و  رایگان StarCoder ۲ هستند، می توانند مدل ها، کد منبع و موارد دیگر را  از صفحه پروژه GitHub  دانلود کنند.

اگر مایلید در زمینه ی هوش مصنوعی مولد بیشتر بدانید پیشنهاد میکنیم مقاله زیر را مطالعه بفرمایید:

هوش مصنوعی مولد (Generative AI)  چیست؟ 

 p0  یک استارت ‌آپ هوش مصنوعی است که توسط Kunal Agarwal   و Prakash Sanker   در سال ۲۰۲۲ تأسیس شده است. هدف اصلی این استارت ‌آپ، کمک به توسعه ‌دهندگان در شناسایی و رفع مشکلات جدی در کد قبل از استفاده در محیط تولید است. p0 از هوش مصنوعی مولد (generative AI) برای شناسایی مسائل ایمنی و امنیتی در نرم ‌افزار استفاده می‌ کند. این مشکلات شامل اعتبار داده ‌ها، شکست‌ های اعتبار سنجی، سرعت و مشکلات زمان ‌بندی می‌ باشد. توسعه ‌دهندگان با اتصال مخازن کد Git خود به  p0، از این ابزار استفاده می‌ کنند. یکی از مشتریان اصلی p0  یک شرکت خدمات غذایی بزرگ با میلیون ‌ها کاربر فعال است که از این ابزار برای شناسایی مشکلاتی که می ‌تواند امنیت و قابلیت اعتماد پلتفرم را تهدید کنند، استفاده می‌ کند. به عنوان مثال، p0  به آن ‌ها نشان داد که برگه‌ های ثبت ‌نام قادر به پردازش شکلک‌ها نیستند. این استارت‌ آپ با استفاده از LLMs ، بخشی از فرآیند توسعه را بدون کاهش سرعت آن تغییر داده است. از این روش برای شناخت کدهای مشتریان و ایجاد چالش ‌های متنی استفاده می‌ کند که می‌ توانند آسیب ‌پذیری ‌ها را شناسایی و رفع کنند. به عنوان مثال، p0  می ‌تواند آسیب ‌پذیری API را کشف کند که ممکن است با داده‌ های خاص، اطلاعات خصوصی را فاش کند.

توسعه دهندگان می توانند به p0 به صورت رایگان در ابر یا با تنظیمات داخلی دسترسی داشته باشند و از آن استفاده کنند. این استارت ‌آپ همچنین نسخه ‌ای پرداختی برای شرکت‌ ها ارائه می‌ دهد.

نام این شرکت، p0، اشاره‌ ای به یک حادثه‌ ی هسته ‌ای به نام 0priority   دارد. حوادث ۰priority    یا  p0، مسائل یا وظایفی با اولویت بالا هستند که نیاز به بررسی فوری دارند مانند قطعی ها .

جزئیات عملکرد p0

p0، که گزینه ‌های کاملاً مدیریت ‌شده ابری یا خود میزبانیp0  را به کاربران و شرکت‌ها ارائه می ‌دهد، توسط مدل ‌های زبانی بزرگ (LLMs) تقویت می‌ شود تا کیفیت و امنیت کد را بهبود بخشد. بیایید به جزئیات عملکرد آن بپردازیم:

۱.یکپارچگی و راه‌اندازی

• • توسعه ‌دهندگان می‌ توانند با استفاده از اطلاعات ورود به سیستم GitHub، وارد شوند.
  • آن‌ها مخازن کدGit خود را به پلتفرم p0  متصل می‌ کنند.

۲.تجزیه و تحلیل کد

• • مدل ‌های زبان بزرگ (LLMs) کد را بدون نیاز به پیکربندی کاربر تجزیه و تحلیل می‌ کنند.
  • سیستم با بررسی ساختار و الگوهای کد، آن را درک می‌ کند.

۳.اسکن‌های خودکار

• • با یک کلیک ساده، توسعه ‌دهندگان اسکن کد را آغاز می‌ کنند.
  • این اسکن‌ ها مشکلات مختلف را شناسایی می‌ کنند، از جمله:

کنترل دسترسی شکسته: اطمینان از مجوزها و دسترسی های صحیح.

طراحی ناامن: شناسایی آسیب ‌پذیری‌ های معماری.

حملات تزریق: شناسایی نقاط ممکن برای تزریق کد.

شکست‌ های رمزنگاری و احراز هویت: تضمین ارتباط امن.

بردار های حمله انکار سرویس: برجسته ‌سازی ضعف ‌های ممکن.

۴.بازخورد فوری

• • تیم‌ ها نکات قابل اجرا را برای رفع مشکلات به موقع دریافت می‌ کنند.
  • با شناسایی آسیب ‌پذیری‌ ها در مراحل اولیه، p0 به جلوگیری از مسائل اضطراری‌ مانند قطعی‌ ها کمک می‌ کند.

به طور خلاصه، p0  با تجزیه و تحلیل کد مبتنی بر هوش مصنوعی، کیفیت نرم ‌افزار و امنیت را بهبود می ‌بخشد و در نتیجه به کاربران و شرکت‌ ها در توسعه نرم افزار کمک می‌ کند .

اگر مایلید در مورد مدل های زبانی بزرگ (LLMs) بیشتر بدانید ، پیشنهاد می کنیم مقاله ی زیر را مطالعه بفرمایید:

استفاده از هوش مصنوعی مولد (Gen AI) در SRE:حل چالش های SRE با مدل های زبانی بزرگ (LLM) 

ULTRARAM یک نوع حافظه نوظهور (Next-Generation Memory) است که با وعده افزایش سرعت، توانایی ظرفیت بالا و بهبود کارایی معرفی شده است. این حافظه از تکنولوژی جدید و نوآورانه برای ذخیره سازی و دسترسی سریع به داده ها استفاده می کند.

ULTRARAM ادعا می کند که دارای سرعت بالا، مصرف توان پایین، پایداری بالا و ظرفیت ذخیره سازی بزرگتر مقایسه با حافظه های سنتی مانند RAM و NAND مموری است.  همچنین شرایط مناسبی برای کاربردهایی مانند ابر، مرکز داده ها، اینترنت اشیاء (IoT) و هوش مصنوعی ایجاد خواهد کرد.

با این حال، هنوز ULTRARAM در مراحل توسعه و پژوهش قرار دارد و نیاز به توجه و سرمایه گذاری بیشتر برای عرضه یا بهره برداری گسترده تر از آن وجود دارد.

در حال حاضر بازار حافظه ، به ارزش ۱۶۵ میلیارد دلار در سال، در اختیار DRAM و NAND flash است. DRAM  سریع  و با پایداری عالی است اما حافظه ای فرار است و نیاز به رفرش مداوم داده ها دارد. از سوی دیگر،NAND   غیر قابل پاک شدن است و حتی در زمان خاموشی داده ها را حفظ می کند ، اما کندتر است و  در عملیات نوشتن / پاک کردن پایداری کمتری دارد.

ULTRARAM، که توسط شرکت Quinas Technology، توسعه یافته است، ترکیبی از مزایای حافظه‌های DRAM  و  NAND  را داراست. این حافظه، به طور همزمان سرعت خواندن/نوشتن حافظه سیستم را دارد و نیاز به تغذیه مداوم ندارد. علاوه بر این، ULTRARAM  دارای پایداری بالاتری نسبت به حافظه‌های فلش است و از نظر مصرف انرژی نیز کارآمدتر عمل می‌کند .

این فناوری، که به تازگی در Flash Memory Summit  جایزه‌ای را از آن خود کرده است، به طور معمولی اطلاعات را برای هزار سال نگه می‌دارد. این پیشرفت در حافظه‌ها می‌تواند تبدیل به یک گزینه جذاب برای جایگزینی حافظه‌های RAM  و NAND شود.

 ULTRARAM از فرآیند مکانیک کوانتومی به نام “ Resonant tunneling”  استفاده می کند و امکان حافظه ای با  قابلیت های نوشتن و پاک کردن سریع، بدون نوسان  و از لحاظ انرژی کارآمد را فراهم می کند و منجر به پایداری بالا در حافظه می شود.  ترکیب این ویژگی ها قبلا  غیر قابل دستیابی  تلقی می شد و به همین دلیل برخی آن را “مقدس  ترین هدف در فناوری حافظه” نامیده اند.

 ULTRARAM  بر پایه سیلیکون نیست، بلکه از مواد نیمه ‌رسانای ترکیبی به نام  III-V  استفاده می ‌کند، از جمله gallium antimonide (GaSb)، arsenide (InAs) و aluminium antimonide (AlSb).

 برخلاف حافظه‌های فلش که از ” oxide barrier ” با مقاومت بالا برای نگه ‌داشتن شارژ استفاده می‌کنند ، ULTRARAM از لایه‌های اتمی نازک InAs/AlSb   برای ایجاد یک ساختار “triple-barrier resonant-tunneling (TBRT)“  بهره می‌برد. این ساختار به ULTRARAM  امکان تغییر بین حالتی با مقاومت بالا و حالتی با رسانایی بالا را می‌دهد، که از ویژگی‌های منحصر به فرد آن است.

 بهروری  انرژی در ULTRARAM بسیار قابل توجه  است.  براساس تحقیقات انجام شده،  انرژی سوئیچینگ در واحد مساحت ۱۰۰ برابر کمتر از  DRAM، ۱۰۰۰ برابر کمتر از فلش  و بیش از ۱۰،۰۰۰  برابر کمتر از سایر حافظه های نوظهور است.  خواندن اطلاعات بدون نوسانات، نیاز به رفرش را از بین می برد و در نتیجه باعث بهروری در مصرف انرژی می شود.

 با توجه به مصرف بالای برق در  مراکز داده ، ULTRARAM  با کاهش انرژی مورد نیاز برای نگه داشتن داده‌ها در حافظه فعال یا جابجایی آن بین حافظه‌های ذخیره‌ شده و فعال، می‌تواند نیازهای انرژی این بخش را به طرز قابل توجهی کاهش دهد.

پایداری ULTRARAM  نیز قابل توجه است. شرکت Quinas  ادعا می ‌کند که عملکرد این حافظه در بیش از ۱۰  میلیون چرخه عملیات نوشتن/پاک کردن ، بدون تغییر باقی مانده است . این ویژگی برای کاربرانی که نیاز به حافظه‌هایی با عمر طولانی و پایداری بالا دارند، مهم است.

و خبر خوب اینکه می ‌توان ULTRARAM  را با استفاده از فرآیندهای تولید در صنایع نیمه ‌رساناها و سیلیکون، که در حال حاضر در دسترس است ، به صورت انبوه تولید کرد.

پیش بینی الگوی داده ها به معنای استفاده از مدل‌ها و ابزارهای مختلف برای پیش‌بینی رفتار یا تغییرات در داده‌ها است. این فرایند بر پایه دانش و الگوریتم‌های مختلفی انجام می‌شود که به کمک آنها می‌توان به تحلیل رفتارهای آینده داده‌ها پرداخت.

با پیش بینی الگوی داده ها، می‌توان به طور مثال به پیش‌بینی رفتار مشتریان، پیش‌بینی فروش یا تقاضا برای محصولات، تحلیل بازدهی مالی و سرمایه‌گذاری‌ها، تحلیل داده‌های پزشکی، تحلیل رفتارهای اجتماعی و … پرداخت.

محققان تکنیک جدیدی در یادگیری ماشین توسعه داده‌اند که به سیستم‌ های کامپیوتری کمک می‌ کند الگوهای داده‌ای آینده را پیش‌ بینی کرده و ذخیره داده ها را بهینه‌ سازی کند. طبق تحقیقات به عمل آمده، پیش بینی الگوی داده ها می‌ توانند سرعت را در مجموعه‌ های داده واقعی تا ۴۰٪ افزایش دهند.

این روش جدید می‌ تواند سرعت پایگاه‌ های داده را بسیار سریعتر کند و در نتیجه مراکز داده بهینه تر شوند.

 در حال حاضر ساختار داده متداولی به نام “آرایه لیبل ‌گذاری لیست”، در ذخیره سازی داده ها استفاده می شود  که اطلاعات را به ترتیب در داخل حافظه کامپیوتر ذخیره می‌ کند. به ترتبب نگه داشتن داده‌ها، باعث می شود کامپیوتر سریع داده های مورد نظر را پیدا ‌کند، مانند ترتیب الفبایی یک لیست طولانی از نام‌ها، که پیدا کردن نام یک شخص را آسان می‌ کند.

ولی حفظ بهینه ترتیب داده ها هنگام ورود داده‌های جدید، ممکن است چالش‌ برانگیز باشد. سیستم‌های کامپیوتری به طور مداوم داده‌ها را جابجا می کنند تا جای کافی برای موارد جدید ایجاد کنند. این روش سرعت عملیات ذخیره سازی را کند می کند و از لحاظ محاسباتی هزینه ‌بر است.

این روش جدید یادگیری ماشین به این ساختارهای داده‌ای، قدرت پیش‌ بینی می‌ دهد. کامپیوتر الگوهای داده‌های اخیر را آنالیز کرده و پیش‌ بینی می‌کند که چه داده ای ممکن است دریافت شود و خود را بهینه‌سازی کنند. هرچه پیش‌بینی‌ها بهتر باشند، عملکرد ذخیره سازی سریع‌تر انجام می شود.

ساختارهایی مانند درخت‌های جستجو، جداول هش و گراف‌ها می‌توانند با پیش ‌بینی الگوهای داده‌ای مورد انتظار، هوشمندتر و سریع ‌تر عمل کنند. محققان امیدوارند که این روش الهام بخش راه های جدیدی برای طراحی الگوریتم‌ها و سیستم‌های مدیریت داده باشد.

پیش بینی الگوی داده ها می‌تواند منجر به پایگاه‌های داده سریع‌تر، بهبود کارآمدی مراکز داده و سیستم‌های عامل هوشمندتر شود.

برای کسب اطلاعات بیشتر، مقاله “Online List Labeling with Predictions” اثر Samuel McCauley و همکاران را در arXiv مطالعه کنید.