LLM چیست؟ مدل زبانی بزرگ، Token، Context و Transformer به زبان ساده
LLM مخفف Large Language Model یا «مدل زبانی بزرگ» است؛ نوعی مدل هوش مصنوعی که روی حجم عظیمی از متن و داده آموزش می‌بیند تا الگوهای زبان را یاد بگیرد و کارهایی مثل تولید متن، ترجمه، خلاصه‌سازی، پاسخ به سؤال، کدنویسی و استخراج اطلاعات انجام دهد.
LLM در یک نگاه
- Token: واحدی که مدل متن را به آن تقسیم می‌کند؛ ممکن است یک کلمه، بخشی از کلمه یا علامت باشد.
- Transformer: معماری‌ای که پایه بسیاری از LLMهای مدرن است.
- Context Window: مقدار اطلاعاتی که مدل می‌تواند در یک درخواست پردازش کند.
- Training: مرحله یادگیری الگوها از داده.
- Inference: مرحله‌ای که مدل بعد از آموزش به درخواست کاربر پاسخ می‌دهد.
- Hallucination: تولید پاسخ ظاهراً معتبر اما نادرست یا بدون پشتوانه.
- RAG: بازیابی اطلاعات بیرونی و دادن آن به مدل برای پاسخ مبتنی بر منبع.
مدل زبانی بزرگ چیست؟
Google Cloud، LLM را یک مدل آماری زبان می‌داند که روی حجم بسیار بزرگی از داده آموزش می‌بیند و می‌تواند متن و محتوای دیگر تولید یا ترجمه کند و وظایف مختلف پردازش زبان طبیعی را انجام دهد.
«بزرگ» فقط به اندازه فایل مدل اشاره ندارد. معمولاً منظور ترکیبی از تعداد پارامترها، حجم داده آموزشی، قدرت محاسباتی و دامنه وظایفی است که مدل می‌تواند انجام دهد.
LLM چگونه کار می‌کند؟
در ساده‌ترین توضیح، مدل از روی متن ورودی احتمال token بعدی را پیش‌بینی می‌کند. اما در مقیاس بزرگ، همین فرایند می‌تواند به رفتارهایی مانند پاسخ‌گویی، خلاصه‌سازی، ترجمه، استدلال، برنامه‌نویسی و تحلیل سند منجر شود.
مدل «متن را مثل انسان حفظ نمی‌کند»؛ شبکه عصبی مجموعه‌ای از وزن‌ها و پارامترها را تنظیم می‌کند تا روابط آماری و ساختار زبان را یاد بگیرد.
Token چیست؟
مدل معمولاً مستقیماً با «کلمه» کار نمی‌کند. متن ابتدا به token تقسیم می‌شود. یک token می‌تواند یک کلمه کامل، بخشی از کلمه، عدد یا علامت نگارشی باشد. در زبان‌های مختلف تعداد token لازم برای یک جمله می‌تواند متفاوت باشد.
Token برای دو موضوع مهم است: ظرفیت context و هزینه استفاده از API. بسیاری از سرویس‌های AI هزینه input و output را بر اساس تعداد token محاسبه می‌کنند.
Context Window چیست؟
Context Window مقدار اطلاعاتی است که مدل می‌تواند در یک درخواست در دسترس داشته باشد. این اطلاعات ممکن است شامل prompt، فایل، تاریخچه گفتگو، خروجی ابزار و پاسخ تولیدشده باشد.
Context بزرگ‌تر اجازه می‌دهد مدل سند یا کد بیشتری را هم‌زمان ببیند، اما به‌تنهایی تضمین نمی‌کند تمام جزئیات را با دقت یکسان استفاده کند. کیفیت retrieval، prompt و معماری مدل همچنان مهم است.
Transformer چیست؟
بسیاری از LLMهای مدرن بر معماری Transformer بنا شده‌اند. مقاله معروف Attention Is All You Need در سال ۲۰۱۷ معماری Transformer را معرفی کرد که به‌جای پردازش کاملاً ترتیبی، از attention برای بررسی رابطه بخش‌های مختلف ورودی استفاده می‌کند.
این معماری برای آموزش موازی در مقیاس بزرگ مناسب شد و به پایه بسیاری از مدل‌های زبانی و چندوجهی امروزی تبدیل شد.
Training و Inference چه تفاوتی دارند؟
Training مرحله‌ای است که مدل با داده بسیار زیاد آموزش می‌بیند و پارامترهای آن تنظیم می‌شوند. این مرحله می‌تواند به هزاران GPU و مصرف انرژی بالا نیاز داشته باشد.
Inference زمانی است که مدل آموزش‌دیده درخواست کاربر را پردازش و پاسخ تولید می‌کند. وقتی میلیون‌ها کاربر یا Agent دائماً مدل را فراخوانی کنند، هزینه inference نیز می‌تواند بسیار بزرگ شود.
به همین دلیل اقتصاد AI فقط درباره هزینه ساخت مدل نیست؛ هزینه هر token و هر task در استفاده واقعی اهمیت زیادی دارد.
Parameter چیست؟
Parameter مقادیری در شبکه عصبی هستند که در training تنظیم می‌شوند. در گذشته تعداد پارامترها یکی از شاخص‌های رایج مقایسه مدل‌ها بود، اما امروز معماری، کیفیت داده، mixture-of-experts، post-training و میزان compute در inference نیز اهمیت زیادی دارند.
بنابراین «مدلی با پارامتر بیشتر حتماً بهتر است» یک نتیجه‌گیری معتبر نیست.
LLM و Generative AI چه تفاوتی دارند؟
Generative AI دسته بزرگ‌تری است و مدل‌های تولید متن، تصویر، صدا، ویدئو و کد را شامل می‌شود. LLM در اصل بر زبان متمرکز است، هرچند مدل‌های جدید ممکن است multimodal باشند و متن، تصویر، صوت یا ویدئو را هم پردازش کنند.
برای تصویر کلی‌تر، هوش مصنوعی چیست و چرا اقتصاد را تغییر می‌دهد؟ را ببینید.
GPT، Claude و Gemini چه ارتباطی با LLM دارند؟
GPT، Claude و Gemini خانواده‌هایی از مدل‌های foundation هستند که قابلیت‌های زبانی پیشرفته دارند. تفاوت آن‌ها فقط در اندازه نیست؛ داده، training، معماری، post-training، ابزارها، context، multimodality و policy هر شرکت متفاوت است.
خبرهای مدل‌ها و شرکت‌ها را در اخبار هوش مصنوعی دنبال کنید.
LLM چگونه جواب تولید می‌کند؟
- متن کاربر tokenized می‌شود؛
- tokenها به نمایش‌های عددی تبدیل می‌شوند؛
- Transformer روابط میان بخش‌های context را پردازش می‌کند؛
- مدل توزیع احتمال token بعدی را می‌سازد؛
- یک token انتخاب می‌شود و فرایند برای token بعدی تکرار می‌شود؛
- خروجی تا رسیدن به پایان پاسخ یا محدودیت ادامه پیدا می‌کند.
Temperature چیست؟
Temperature یکی از پارامترهایی است که می‌تواند میزان تصادفی‌بودن انتخاب token را تغییر دهد. مقدار پایین معمولاً خروجی قابل‌پیش‌بینی‌تر می‌دهد و مقدار بالاتر تنوع را بیشتر می‌کند. رفتار دقیق به API و مدل وابسته است.
Hallucination چرا اتفاق می‌افتد؟
LLM اساساً برای تولید خروجی محتمل آموزش دیده، نه برای تضمین اینکه هر جمله حقیقت خارجی دارد. اگر اطلاعات کافی در context نباشد یا مدل درباره موضوع مطمئن نباشد، ممکن است پاسخ نادرست اما روان بسازد.
برای کارهای حساس باید پاسخ با منبع اصلی، ابزار retrieval یا داده ساختاریافته بررسی شود.
RAG چیست؟
Retrieval-Augmented Generation یا RAG روشی است که ابتدا اطلاعات مرتبط از یک منبع بیرونی—مثلاً اسناد شرکت، پایگاه داده یا موتور جست‌وجو—بازیابی می‌شود و سپس در context مدل قرار می‌گیرد.
RAG به مدل کمک می‌کند درباره داده‌ای پاسخ دهد که لزوماً در training آن وجود نداشته یا مرتب تغییر می‌کند. این روش همچنین می‌تواند امکان citation و کنترل منبع را بهتر کند.
Fine-tuning چیست و با RAG چه تفاوتی دارد؟
در fine-tuning رفتار مدل با نمونه‌های آموزشی بیشتر تنظیم می‌شود. این روش برای style، format یا task تخصصی مفید است. RAG بیشتر برای دادن اطلاعات تازه یا اختصاصی در زمان پاسخ استفاده می‌شود.
اگر مسئله این است که «مدل سندهای امروز شرکت را بداند»، RAG معمولاً منطقی‌تر از آموزش دوباره مدل است. اگر مسئله «رفتار و فرمت پاسخ» باشد، fine-tuning می‌تواند مناسب‌تر باشد.
LLM چگونه به AI Agent تبدیل می‌شود؟
LLM به‌تنهایی معمولاً پاسخ تولید می‌کند. وقتی مدل به ابزار، حافظه، workflow و loop تصمیم‌گیری متصل شود، می‌تواند هسته یک AI Agent باشد. Agent می‌تواند بین چند اقدام انتخاب کند، tool call انجام دهد و نتیجه را برای مرحله بعدی بخواند.
هزینه LLM از چه چیزی می‌آید؟
- GPU و شتاب‌دهنده برای training و inference؛
- حافظه و شبکه دیتاسنتر؛
- برق و خنک‌کننده؛
- تعداد input/output token؛
- طول context؛
- مدت reasoning یا تعداد مراحل Agent؛
- تعداد کاربران هم‌زمان.
این همان دلیلی است که GPU، شبکه و زیرساخت NVIDIA به بخشی مهم از اقتصاد LLM تبدیل شده‌اند.
مدل کوچک بهتر است یا مدل بزرگ؟
بستگی به task دارد. برای طبقه‌بندی، استخراج ساده، پشتیبانی پرتکرار یا subagent ممکن است مدل کوچک ارزان‌تر و سریع‌تر مناسب باشد. برای reasoning دشوار، تحلیل پیچیده یا task حساس ممکن است مدل قوی‌تر ارزش هزینه بیشتر را داشته باشد.
در مقاله Claude Haiku 5.5 و اقتصاد مدل‌های کوچک این trade-off را بررسی کرده‌ایم.
آیا LLM واقعاً «می‌فهمد»؟
این پرسش هم فنی و هم فلسفی است و پاسخ واحدی ندارد. از نظر عملی، بهتر است به‌جای نسبت‌دادن فهم انسانی، عملکرد مدل را با معیار قابل‌اندازه‌گیری بسنجیم: دقت task، توان generalization، نرخ خطا، calibration و عملکرد در داده جدید.
برای استفاده از LLM چه چیزهایی را باید بسنجیم؟
- کیفیت و دقت پاسخ؛
- هزینه هر task؛
- latency و Time to First Token؛
- Context موردنیاز؛
- امنیت و privacy؛
- پشتیبانی از tool use؛
- میزان hallucination؛
- توان استفاده از داده اختصاصی.
منابع
Google Cloud – Large Language Models
Google Cloud – Generative AI glossary
Vaswani et al. – Attention Is All You Need
NVIDIA – AI inference and token economics
جمع‌بندی
LLM یک مدل زبانی بزرگ است که با یادگیری الگوهای حجم عظیمی از داده، می‌تواند متن و کد تولید و تحلیل کند. Transformer، token، context window، training و inference مفاهیم اصلی برای فهم آن هستند. در استفاده واقعی، مهم‌ترین سؤال فقط «مدل چقدر باهوش است؟» نیست؛ باید هزینه، دقت، context، ابزار، privacy و قابلیت اتصال به داده واقعی را هم سنجید.