هر دهه یا بیشتر، یک فناوری از راه رسیده و همه چیز را در اطراف ما تحت تاثیر قرار میدهد. این روش کار، موجب تغییر نحوه بازی و جذب مشتریان می شود. در دهه 80، رایانه شخصی دنیای ما را متحول کرد، سپس اینترنت در دهه 90، تلفن های هوشمند در دهه 2000 و رایانش ابری در دهه 2010 متحول شد. اکنون، ما در آستانه یک تحول تکنولوژیکی مهم دیگر هستیم که توسط هوش مصنوعی مولد (GenAI) هدایت می شود.
هوش مصنوعی چندین دهه در زندگی و اطراف ما وجود داشته است. بنابراین، چرا هیاهوی ناگهانی در اطراف GenAI به وجود می آید؟
این افزایش را می توان به تلاقی عواملی نسبت داد که در دو سال گذشته گرد هم آمده اند. پیشرفت در قدرت محاسباتی خام، رشد تصاعدی در داده های موجود، کاهش شدید هزینه های آموزش هوش مصنوعی و پیشرفت در الگوریتم های یادگیری ماشین، مانند مدل ترانسفورماتور، اکنون پیچیدگی بی نظیری را ارائه می دهد. در این مسیر شرکت OpenAI به سرعت از این روندها استفاده کرد. آنها این فناوری را در یک رابط قابل دسترسی پیچیده و یک برنامه قاتل ایجاد کردند که موجب آغاز این انقلاب شد. این شرکت از زمان راه اندازی این روند میلیون ها کاربر را به خود جذب کرده است.
مدل های بنیادی
هوش مصنوعی مولد بر اساس مدل‌های بنیادی (FM) است که به آن اجازه میدهد تا زمینه و ارتباط محتوایی را که پردازش کرده درک کند و آن را فوق‌العاده قدرتمند و همه‌کاره می‌سازد. معماری ترانسفورماتور نشان دهنده یک تغییر پارادایم در نحوه پردازش متن توسط هوش مصنوعی است که درک زبان بی سابقه ای را ارائه می دهد.
ساخت FM شامل دو مرحله کلیدی است: آموزش بدون نظارت بر روی حجم وسیعی از محتوا (متن، تصاویر و غیره) و تنظیم دقیق برای کارهای خاص، مانند پرسش و پاسخ. این فرآیند پیچیده و نیازمند منابع است. انتخاب FM مورد استفاده اولین گام در ایجاد یک راه حل GenAI است.
هنگامی که یک مدل بنیادی را انتخاب کردید، باید تصمیم بگیرید که چگونه برنامه هوش مصنوعی مولد خود را بسازید. ما چندین مورد استفاده GenAI را توسعه داده‌ایم و چهار الگوی راه‌حل را شناسایی کرده‌ایم که شرکت‌ها می‌توانند بر اساس هزینه، پیچیدگی و دقت انتخاب کنند.
الگوی 1: راه حل های خارج از جعبه LLM مبتنی بر API
ساده ترین رویکرد برای هوش مصنوعی مولد شامل استفاده از رابط برنامه نویسی کاربردی (API) آماده از ارائه دهندگان مدل زبان بزرگ (LLM) مانند OpenAI، Anthropic و دیگران است. این روش ساده بوده و نیازی به توسعه گسترده یا مهارت های علم داده ندارد. این به سادگی نیاز به ساخت یک برنامه کاربردی front-end دارد که این API های LLM را فراخوانی کند.
اعلان های کاربر مکانیسم اصلی برای ارائه زمینه در این رویکرد است. هر چه اعلان بهتر باشد، خروجی بهتری خواهد داشت. این منجر به مهندسی سریع به عنوان رشته‌ای شده که در آن مهندسان سریع می‌توانند ورودی‌های مختلف را امتحان کرده تا به اعلان «بهینه» برسند که «بهترین» پاسخ را میدهد.
در حالی که این الگو سریع اجرا شده و به حداقل کدنویسی نیاز دارد، از دقت پایینی برخوردار است، زیرا LLM ها دارای یک “پنجره زمینه” محدود هستند. یک پنجره زمینه به طول متنی که یک LLM می تواند پردازش کند و برای هر نمونه معینی در یک درخواست پاسخ دهد، اشاره دارد.
این الگو برای موارد استفاده عمومی که به زمینه سازمانی نیاز ندارند، بهترین انتخاب است.
الگوی 2: یادگیری درون متنی
این الگوی محبوب که به عنوان الگوی RAG (تولید افزایش یافته بازیابی) نیز شناخته می شود، شامل استفاده از APIهای مبتنی بر ابر از ارائه دهندگان LLM در حالی که آنها را با زمینه سازمانی تغذیه می کند.
این الگو همچنین از یک API از ارائه‌دهنده مدل زبان برخوردار است، اما یک برنامه سمت سرور وجود دارد که می‌تواند محتوای شرکت را دریافت کند، آن را تجزیه و تحلیل کرده، برداری از آن بگیرد، بردارها را در یک پایگاه داده ذخیره کند و هنگامی که یک پرس‌وجوی کاربر رخ میدهد، با استفاده از جستجوی بردار، سیاق مناسب شرکت را به عنوان ورودی به مدل ارائه دهد.
بر خلاف الگوی 1، مهندسی سریع توسط اپلیکیشن Backend انجام می شود، نه توسط کاربران. الگوی 2 سادگی و اثربخشی را متعادل می‌کند، و آن را برای بسیاری بدون تنظیم دقیق مدل‌های موجود یا ساخت مدل‌های جدید از ابتدا به گزینه‌ای تبدیل می‌کند.
این رویکرد بسیار دقیق تر از الگوی 1 است و می تواند توسط توسعه دهندگان برنامه های معمولی بدون تخصص یادگیری ماشین ساخته شود. با این حال، این الگو به دلیل پنجره زمینه محدود، به ویژه برای موارد استفاده از دامنه فشرده، محدودیت هایی دارد.
الگوی 3: تنظیم دقیق مدل های موجود
اگر یک شرکت بخواهد با دقت و سرعت بیشتر پیش برود، می تواند مدل های موجود را با محتوای خاص دامنه تنظیم کند.
فرآیند تنظیم دقیق (Fine-tuning) فرایند تنظیم پارامترهای مدل است. این شامل آموزش یک مدل منبع باز موجود بر روی مجموعه داده برچسب‌گذاری شده شما است که به آن امکان میدهد وزن مدل را بر اساس داده‌های شما تغییر دهد. مجموعه داده های تمیز و مرتب می تواند روند آموزش را تسریع کرده و دقت را افزایش دهد. این رویکرد به علم داده، تخصص یادگیری ماشین و برچسب‌گذاری دقیق داده‌های محتوای شما نیاز دارد.
بر اساس تجربه، متوجه شدیم که معمولاً چند ماه طول می‌کشد تا یک مدل موجود در محتوای خاص دامنه شما آموزش داده شود. این یک فرآیند تکراری بوده و نیاز به ارزیابی و آزمایش مداوم داشته تا اطمینان حاصل شود که دقت در حال بهبود است. اگر نه، به محتوای مرتبط‌تر یا برچسب‌گذاری بهتر محتوا نیاز دارید.
در حالی که این الگوی راه حل پیچیده و پرهزینه است، با تطبیق مدل ها برای وظایف خاص، به سازمان مزیت رقابتی با دقت و عملکرد بالاتر می دهد.
الگوی 4: ساختن مدل پایه خود
پیچیده‌ترین الگو، شامل ساخت یک مدل سفارشی از ابتدا است. این یک سرمایه‌گذاری و تعهد قابل توجه است، اما به ویژه اگر دارای ترابایت‌ها از داده‌های منحصر به فرد باشید و مورد استفاده از هوش مصنوعی مولد به شما این امکان را بدهد که از رقبای خود متمایز شوید و از آنها پیشی بگیرید، این سرمایه‌گذاری با ارزش خواهد بود.
این نیاز به منابع داده گسترده و دانش پیشرفته داده و تخصص مدیریت زیرساخت دارد. در حالی که امروزه ممکن است این گزینه برای اکثر شرکت ها دور از دسترس به نظر برسد، با ظهور ابزارهای منبع باز و مقرون به صرفه تر شدن تراشه های GPU (واحد پردازش گرافیکی)، هزینه های کلی کاهش می یابد و ROI (نرخ بازگشت سرمایه) برای ساخت مدل ها از ابتدا افزایش می یابد.
انتخاب الگوی مناسب
هنگام انتخاب الگوی مناسب برای مورد استفاده خود، تعادل بین هزینه، پیچیدگی و دقت را در نظر بگیرید.
اکثر مشتریان ما با ایجاد اثبات مفاهیم با استفاده از الگوی 2 شروع می کنند. با توجه به تعادل اثربخشی و امکان سنجی، جای تعجب نیست که این الگو محبوب ترین باشد. با این حال، حوزه GenAI به سرعت در حال رشد بوده و من انتظار دارم که الگوی 3 (مدل های تنظیم دقیق) در طول زمان برجسته شود.
هر پرش فناورانه در 30 سال گذشته جهان ما را بازتعریف کرده است. اگر پرش نکنید، در پس زمینه باقی می‌مانید. یکی از چهار الگوی حل مسئله را که بهترین تطابق را با آمادگی، قابلیت‌ها و اهداف شرکت شما دارد انتخاب کنید. کلید این است که شروع به آزمایش، یادگیری و بهبود مداوم کنید.