ما وسط باز نیستیم! | آموزش اجرای مدل‌های زبانی به صورت لوکال

دوشنبه, ۳۰ دی ۱۴۰۴، ۱۰:۴۴ ق.ظ

برای اجرای هوش مصنوعی به صورت لوکال، به سه روش زیر میتونید اقدام کنید:

1- اجرای روی سیستم خودتون که باید یا حداقل 16 گیگ رم داشته باشید یا gpu متوسط داشته باشید

2- اجرای روی سیستم های کلود هوش مصنوعی مثل آروان کلاد یا لیارا

3- نصب هوش مصنوعی روی یک سیستم کلود هوش مصنوعی و آوردن صفحه ارتباط روی یک سیستم OpenWebUI

تو اینجا من روش اول و سوم رو معرفی میکنم، چون روش دوم بیشتر بدرد جمع افراد میخوره و کاربردش نیاز شخصی نیست

بریم سراغ پیش نیازها:

برای بالا اومدن سرویس‌های مربوط به هوش مصنوعی شما به طور کلی به دو تا چیز نیاز دارید:

* مدل زبانی

* ابزاری که بتونه رابط بین مدل زبانی و شمای کاربر باشه

مدل‌های زبانی در دسترسی که الان میتونید استفاده کنید؛ همون‌هایی هست که در حال حاضر در سایت‌های ایرانی قابل دانلود هستند؛ مثلا در soft98.ir و p30download.com سه مدل

Gemma 3 : 12b

DeepSeek-R1 : 14b

Qwen 3 : 14b

در دسترس هستند و اگر ان‌شاءالله شیر فلکه نت رو باز کردند میتونید با ابزارهایی که بعدا اشاره میکنم بسته به رم و سیستم‌تون مدل‌های دیگه رو هم استفاده و دانلود و لوکال کنید

ابزاری که بتونه رابط بین مدل و شما بشه، در حالت عادی بهترین‌ش ترکیب ollama و Open WebUI هست ولی در حالت غیرعادی و وضعیت ما، همون ollama کفایت میکنه.

هم 3 مدل زبانی که گفتم و هم ollama در لینک زیر قابل دسترس هستند:

https://soft98.ir/software/programming/16864-ollama.html

https://p30download.ir/fa/entry/109876/ollama

بریم سراغ روش اول:

شما اول ollama رو دانلود و روی سیستم‌تون نصب کنید. دانلود کردنش که از همون دو تا لینک بالا، یکی رو انتخاب کنید و دانلود کنید؛ نصب‌ش هم کار خاصی نداره و همه رو next و install بزنید که تموم بشه؛ وقتی که نصب شد؛ برای شما یک همچین صفحه‌ای باز میشه:

بعد از این مرحله باید مدل‌هایی که دوست دارید رو وارد این نرم افزار کنید؛ مدل‌ها در شرایط عادی که ما وصل به نت بین الملل هستیم باید با استفاده از تحریم شکن (چون تحریم هستیم و باید با استفاده از ابزارهای دورزدن تحریم مثل شکن یا بشکن یا dnsهای دیگه) یا با استفاده از فیلترشکن‌هایی که واقعا موقعیت شما رو تغییر میدهند (نه مثل وارپ یا امثالهم) استفاده کنید و از همون پایین سمت راست که توی تصویر بالا فلش زدم، مدل خودتون رو دانلود کنید؛ در شرایط فعلی ما، باید با استفاده از دانلود مدل از همون دو تا لینک بالا، اقدام کنیم؛ بعد از اینکه مدل‌های مدنظرتون رو دانلود کردید، باید از بخش RUN سیستم (کلید میانبر منو لستارت و R) عبارت

.ollama

رو بزنید (به نقطه اول کلمه توجه کنید!)؛ بعد وارد فولدر مدل می‌شید و دو تا بخشی که از فایل زیپ مربوط به مدل هست رو داخل این پوشه مدل، وارد می‌کنید. دو تا بخش مربوط به مدل و مانیفست تو این مرحله به ollama اضافه میشه

یه خرده باید صبر کنید تا ollama این مدل رو لود کنه (نکته: زمانی که دارید این کپی رو انجام می‌دید، ترجیحا ollama رو به صورت کامل ببیندید) و بعدش می‌تونید از اون مدل با رابط کاربری ollama استفاده کنید.

این روش یک سری نکات فنی داره مثل اینکه ollama روی چه پورتی بالا میاد و اون پورت رو اشغال نکنید (ollama روی پورت 11434 فعال میشه و اگر میخواهید ببینید که ماشین روشن هست یا نه میتونید از آدرس 127.0.0.1:11434 برید و بررسی کنید)، یا مثلا کانتکس ورودی هر مدل چقدر هست و چجوری این رو کنترل کنید؛ بخش مربوط به پرسش و پاسخ با استفاده از سیستم RAG که فقط از روی دایکیمونت‌های شما جواب بده و... که به نظرم در این پست اهمیتی نداره و اگر نیاز به این نکات داشتید، تو همین پست کامنت بذارید تا جواب بدم.

روش دوم:

تو روش اول شما دارید از منابع سیستم‌تون برای پاسخ گرفتن از مدل‌ها استفاده می‌کنید، به هر دلیلی شاید این براتون امکان پذیر یا مطلوب نباشه، می‌تونید این منابع رو از سرویس‌های ابری استفاده کنید, برای این کار نیاز هست به پنل یکی از سرویس دهنده‌هایی که مدل‌های مختلف رو ارائه میدهند وارد بشید و از بین مدل‌هایی که موجود هست، مدلی که هاستینگ‌ش روی ایران هست رو، انتخاب کنید؛ مثلا تو تصویر زیر من از آروان کلاد عکس گرفتم و اگر ببینید، برخی از این ها، نوشته هاست توسط سرویس آروان اتفاق می‌افته (گفتنی هست که من تست کردم و سرویس‌دهی این مدل‌ها در شرایط ویژه، واقعا تعطیل هست! در شرایط عادی هم بهتره برید سراغ اون هایی که هاستش توسط سرویس‌های دیگه اتفاق می افته و یا حتی برید سراغ گرفتن api از سرویس‌های wrraper)

https://panel.arvancloud.ir/aiaas/model/bazaar

برای انتخاب اون چیزی که بیشتر بدردتون میخوره باید به توکن ورودی و خروجی و هزینه مربوط به این توکن ها توجه کنید و همچنین احتمالا ورودی‌های مختلف رو هم در نظر بگیرید؛ قاعدتا اگر دنبال پردازش اسناد و فایل هستید، مدل هایی که میتونند این اسناد رو پردازش کنند باید انتخاب کنید و صرفا مدل زبانی و چت بات مشکلتون رو حل نمیکنه؛ من یکی از مدل‌ها رو انتخاب کردم و بعدش باید دکمه شروع رو بزنید؛ تو این بخش سه تا بخش مهم وجود داره که در ادامه باهاش کار دارید:

اولی مربوط به چت با مدل هست که یک محیط موقتی و صرفا برای تست و چت کردن هست که ببینید کار میکنه یا نه؛ تو این بخش مدل چیزی رو ذخیره نمیکنه و صرفا تست هست؛ اگر دنبال موندن متن پیام هاتون هستید از این بخش نمیتونید استفاده کنید اما اگر صرفا میخواهید تست کنید که مدل چقدر خوب/بد داره عمل میکنه؛ یه خرده باهاش چت کنید (قاعدتا اگر پیش فرض من که دنبال نگه داشتن متن پیام ها هستید رو ندارد، میتونید همینجا متوقف بشید و کارتون رو راه بندازید و ادامه متن این نوشته رو نخونید!)

بخش دوم کلید api هست که بهتون نشون داده میشه و باید نگهش دارید

بخش سوم ساخت ماشین یوزر یا اصطلاحا همون baseURL؛ اگر ماشین یوزری نساختید، دکمه ماشین یوزر رو بزنید و از صفحه ای که باز میشه کلید + رو بزنید و یک نام انتخاب کنید و بعدش کلیدی که بهتون نشون داده میشه رو یادداشت کنید

بعد از این مرحله شما یک واسط و رابط کاربری میخواهید که با این مدلی که ساختید، ارتباط برقرار کنه (مثل همون ollama که در روش اول وجود داشت) تو اینجا من open WebUI رو پیشنهاد میکنم که اگر روی سیستم تون ندارید باید برید سراغ سرویس‌های مربوط به liara که این رو بهتون با یک هزینه حدود 500 هزار تومن میدند؛ اگر هم روی سیستم‌تون دارید (و پیشنهاد میکنم که بعد از وصل شدن نت، این رو روی سیستم‌تون بریزید) باید برید یک سری تنظیمات رو روی اون انجام بدهید که open webUI بتونه با مدلی که ازش دو تا دیتای مهم (baseURL و api) دارید، ارتباط بگیره

من روی سیستمم داشتم و با دستور open-webui serve در کامندلاین ویندوز، اون رو اجرا کرد؛ شما اگر ندارید باید روی پنل لیارا بعد از ثبت نام و اینجور داستان‌ها وارد بشید و دکمه نصب سریع رو بزنید (قاعدتا اگر به اولیه های مربوط به تنظیم کنسول و ماشین ها مسلط هستید برید تنظیمات خودتون رو انجام بدید)

https://console.liara.ir/one-click-apps/openwebui