ما وسط باز نیستیم! | آموزش اجرای مدل‌های زبانی به صورت لوکال

برای اجرای هوش مصنوعی به صورت لوکال، به سه روش زیر میتونید اقدام کنید:

1- اجرای روی سیستم خودتون که باید یا حداقل 16 گیگ رم داشته باشید یا gpu متوسط داشته باشید

2- اجرای روی سیستم های کلود هوش مصنوعی مثل آروان کلاد یا لیارا

3- نصب هوش مصنوعی روی یک سیستم کلود هوش مصنوعی و آوردن صفحه ارتباط روی یک سیستم OpenWebUI

تو اینجا من روش اول و سوم رو معرفی میکنم، چون روش دوم بیشتر بدرد جمع افراد میخوره و کاربردش نیاز شخصی نیست

بریم سراغ پیش نیازها:

برای بالا اومدن سرویس‌های مربوط به هوش مصنوعی شما به طور کلی به دو تا چیز نیاز دارید:

* مدل زبانی

* ابزاری که بتونه رابط بین مدل زبانی و شمای کاربر باشه

مدل‌های زبانی در دسترسی که الان میتونید استفاده کنید؛ همون‌هایی هست که در حال حاضر در سایت‌های ایرانی قابل دانلود هستند؛ مثلا در soft98.ir و p30download.com سه مدل

Gemma 3 : 12b

DeepSeek-R1 : 14b

Qwen 3 : 14b

در دسترس هستند و اگر ان‌شاءالله شیر فلکه نت رو باز کردند میتونید با ابزارهایی که بعدا اشاره میکنم بسته به رم و سیستم‌تون مدل‌های دیگه رو هم استفاده و دانلود و لوکال کنید

ابزاری که بتونه رابط بین مدل و شما بشه، در حالت عادی بهترین‌ش ترکیب ollama و Open WebUI هست ولی در حالت غیرعادی و وضعیت ما، همون ollama کفایت میکنه.

هم 3 مدل زبانی که گفتم و هم ollama در لینک زیر قابل دسترس هستند:

https://soft98.ir/software/programming/16864-ollama.html

https://p30download.ir/fa/entry/109876/ollama

بریم سراغ روش اول:

شما اول ollama رو دانلود و روی سیستم‌تون نصب کنید. دانلود کردنش که از همون دو تا لینک بالا، یکی رو انتخاب کنید و دانلود کنید؛ نصب‌ش هم کار خاصی نداره و همه رو next و install بزنید که تموم بشه؛ وقتی که نصب شد؛ برای شما یک همچین صفحه‌ای باز میشه:

بعد از این مرحله باید مدل‌هایی که دوست دارید رو وارد این نرم افزار کنید؛ مدل‌ها در شرایط عادی که ما وصل به نت بین الملل هستیم باید با استفاده از تحریم شکن (چون تحریم هستیم و باید با استفاده از ابزارهای دورزدن تحریم مثل شکن یا بشکن یا dnsهای دیگه) یا با استفاده از فیلترشکن‌هایی که واقعا موقعیت شما رو تغییر میدهند (نه مثل وارپ یا امثالهم) استفاده کنید و از همون پایین سمت راست که توی تصویر بالا فلش زدم، مدل خودتون رو دانلود کنید؛ در شرایط فعلی ما، باید با استفاده از دانلود مدل از همون دو تا لینک بالا، اقدام کنیم؛ بعد از اینکه مدل‌های مدنظرتون رو دانلود کردید، باید از بخش RUN سیستم (کلید میانبر منو لستارت و R) عبارت

.ollama

رو بزنید (به نقطه اول کلمه توجه کنید!)؛ بعد وارد فولدر مدل می‌شید و دو تا بخشی که از فایل زیپ مربوط به مدل هست رو داخل این پوشه مدل، وارد می‌کنید. دو تا بخش مربوط به مدل و مانیفست تو این مرحله به ollama اضافه میشه

یه خرده باید صبر کنید تا ollama این مدل رو لود کنه (نکته: زمانی که دارید این کپی رو انجام می‌دید، ترجیحا ollama رو به صورت کامل ببیندید) و بعدش می‌تونید از اون مدل با رابط کاربری ollama استفاده کنید.

 این روش یک سری نکات فنی داره مثل اینکه ollama روی چه پورتی بالا میاد و اون پورت رو اشغال نکنید (ollama روی پورت 11434 فعال میشه و اگر میخواهید ببینید که ماشین روشن هست یا نه میتونید از آدرس 127.0.0.1:11434 برید و بررسی کنید)، یا مثلا کانتکس ورودی هر مدل چقدر هست و چجوری این رو کنترل کنید؛ بخش مربوط به پرسش و پاسخ با استفاده از سیستم RAG که فقط از روی دایکیمونت‌های شما جواب بده و... که به نظرم در این پست اهمیتی نداره و اگر نیاز به این نکات داشتید، تو همین پست کامنت بذارید تا جواب بدم.

روش دوم:

تو روش اول شما دارید از منابع سیستم‌تون برای پاسخ گرفتن از مدل‌ها استفاده می‌کنید، به هر دلیلی شاید این براتون امکان پذیر یا مطلوب نباشه، می‌تونید این منابع رو از سرویس‌های ابری استفاده کنید, برای این کار نیاز هست به پنل یکی از سرویس دهنده‌هایی که مدل‌های مختلف رو ارائه میدهند وارد بشید و از بین مدل‌هایی که موجود هست، مدلی که هاستینگ‌ش روی ایران هست رو، انتخاب کنید؛ مثلا تو تصویر زیر من از آروان کلاد عکس گرفتم و اگر ببینید، برخی از این ها، نوشته هاست توسط سرویس آروان اتفاق می‌افته (گفتنی هست که من تست کردم و سرویس‌دهی این مدل‌ها در شرایط ویژه، واقعا تعطیل هست! در شرایط عادی هم بهتره برید سراغ اون هایی که هاستش توسط سرویس‌های دیگه اتفاق می افته و یا حتی برید سراغ گرفتن api از سرویس‌های wrraper)

https://panel.arvancloud.ir/aiaas/model/bazaar

برای انتخاب اون چیزی که بیشتر بدردتون میخوره باید به توکن ورودی و خروجی و هزینه مربوط به این توکن ها توجه کنید و همچنین احتمالا ورودی‌های مختلف رو هم در نظر بگیرید؛ قاعدتا اگر دنبال پردازش اسناد و فایل هستید، مدل هایی که میتونند این اسناد رو پردازش کنند باید انتخاب کنید و صرفا مدل زبانی و چت بات مشکلتون رو حل نمیکنه؛ من یکی از مدل‌ها رو انتخاب کردم و بعدش باید دکمه شروع رو بزنید؛ تو این بخش سه تا بخش مهم وجود داره که در ادامه باهاش کار دارید:

اولی مربوط به چت با مدل هست که یک محیط موقتی و صرفا برای تست و چت کردن هست که ببینید کار میکنه یا نه؛ تو این بخش مدل چیزی رو ذخیره نمیکنه و صرفا تست هست؛ اگر دنبال موندن متن پیام هاتون هستید از این بخش نمیتونید استفاده کنید اما اگر صرفا میخواهید تست کنید که مدل چقدر خوب/بد داره عمل میکنه؛ یه خرده باهاش چت کنید (قاعدتا اگر پیش فرض من که دنبال نگه داشتن متن پیام ها هستید رو ندارد، میتونید همینجا متوقف بشید و کارتون رو راه بندازید و ادامه متن این نوشته رو نخونید!)

بخش دوم کلید api هست که بهتون نشون داده میشه و باید نگهش دارید

بخش سوم ساخت ماشین یوزر یا اصطلاحا همون baseURL؛ اگر ماشین یوزری نساختید، دکمه ماشین یوزر رو بزنید و از صفحه ای که باز میشه کلید + رو بزنید و یک نام انتخاب کنید و بعدش کلیدی که بهتون نشون داده میشه رو یادداشت کنید

بعد از این مرحله شما یک واسط و رابط کاربری میخواهید که با این مدلی که ساختید، ارتباط برقرار کنه (مثل همون ollama که در روش اول وجود داشت) تو اینجا من open WebUI رو پیشنهاد میکنم که اگر روی سیستم تون ندارید باید برید سراغ سرویس‌های مربوط به liara که این رو بهتون با یک هزینه حدود 500 هزار تومن میدند؛ اگر هم روی سیستم‌تون دارید (و پیشنهاد میکنم که بعد از وصل شدن نت، این رو روی سیستم‌تون بریزید) باید برید یک سری تنظیمات رو روی اون انجام بدهید که open webUI بتونه با مدلی که ازش دو تا دیتای مهم (baseURL و api) دارید، ارتباط بگیره

من روی سیستمم داشتم و با دستور open-webui serve در کامندلاین ویندوز، اون رو اجرا کرد؛ شما اگر ندارید باید روی پنل لیارا بعد از ثبت نام و اینجور داستان‌ها وارد بشید و دکمه نصب سریع رو بزنید (قاعدتا اگر به اولیه های مربوط به تنظیم کنسول و ماشین ها مسلط هستید برید تنظیمات خودتون رو انجام بدید)

https://console.liara.ir/one-click-apps/openwebui

وقتی که open WebUI بالا اومد باید برید بخش admin panel، بعد بخش setting و بعد بخش connection اطلاعات مربوط به ماشین تون رو وارد کنید

بعد از این مرحله اتصال open webui با ماشین تون برقرار هست و میتونید برید تو صفحه اول با مدل چت کنید.

پ .ن:

ما وسط باز نیستیم؛ ما فقط نسبت به بعضی‌ها قوه تعقل‌مون بیشتر و قوه تخیل و توهم‌مون کمتره!

جهان به مجلس مستان بیخرد ماند - شب نوشته قطعی نت و تست سرورهای AI در دسترس

کاش در اوج بلا قوت قلبم برسد

کاش دلسوخته زلزله بم برسد

مادرم گفت دعا کن که به مقصد برسد

صبر کن، صبر کمی، مانده که احمد برسد...

(احمد - حامد زمانی)

https://ble.ir/hamedzamany/4069576920102651402/1767107458292

دنیا اگر این است، پس صد شکر | ما لکه‌های ننگ دنیایی‌م!

﴿إِنَّ اللَّهَ بَالِغُ أَمْرِهِ قَدْ جَعَلَ اللَّهُ لِکُلِّ شَیْءٍ قَدْرًا﴾

هنگام ثمر دادنمان بود، خزان شد!

داشتم چند روز پیش به یکی توضیح میدادم که نزدیک قله دستشویی‌تون بگیره باخت میدید، قبول نمیکرد. مصداق آوردم که خودم پروپوزال‌هایی که ارسال کردم مجموعا 15 تا پروپوزال در کمتر از 5 ماه ارسال شد که هر کدوم یک پروژه ملی در ابعاد توسعه یک صنعت هست اما خورد به گیر و دار تصمیم دوستان و مسئولان مربوطه تا بشینند یه تصمیم بگیرند و با فاکتورهای تصمیمشون کاری که فقط از من و تیمی که میتونم جمع کنم بر میاد رو قرارداد کنند؛

لابی خواهم کرد؟ اصلا و ابدا

حاضرم تو چندتا از این موارد کوتاه بیام؟ خیر

اگر اون بندگان خدا عقلِ‌تصمیم‌گیری‌شون نرسید، پیگیری میکنم و به بالادستی‌هاشون اعلام کنم که یه همچین چیزی هم وجود داشت و هست که اون‌ها نفهمیدن‌ش؟ احتمالا بله و تا اون موقع که به این تصمیم برسم اینطوری اعلام میکنم که این و متعلقات‌ش برای شما و هر مبلغ یا امکاناتی که از برکت و کرم‌تون هست رو بدید، من راضی‌م

پ.ن 0:

به قول یک بنده خدایی؛ سبز سپاه سرخ است، صورتی نیست!

پ.ن 1:

فرمودند:

«ان‌شاء‌الله به زودیِ زود، خداوند احساس پیروزی را در دلهای همه‌ی مردم ایران رواج بدهد. ۱۴۰۴/۱۰/۱۹»

ان‌شاءالله بزنیم یه جوری به سلامتی که لیوان‌ها خرد بشه...

پ.ن 2:

یه چیز دلی بخوام بگم این هست که حس میکنم ایران و کلا جبهه موسوم به انقلاب بعد از اون پویش سلام فرمانده وارد لِول امتحان بزرگی شدند؛ یعنی یه طوری بعد از اون خیلی کم پیش اومد که این جبهه‌ها و گروه‌های انقلابی هفته‌ای بدون امتحان و آسون رد کنند از تقریبا بعد از 1400 تا الان و احتمالا تا یه مدت بعدتر؛ نمیدونم شاید حرف دهن‌مون رو نمیدونستیم و یه چیزهایی تو اون سلام فرمانده های نسخه های مختلف گفتیم که نمیدونستیم واقعا این طوری میشه؛ حالا اینکه ما کم میاریم یا خدا میگه اکی راست گفتند یا مثلا ادب شدند و دیگه کسی تا وقتی به اون مرحله نرسیده از این حرف ها نمیزنه، ادامه داشته باشه

خلاصه که خیر باشه

پ.ن 3:

ما منطقیای مدیریت بحران کُن :)

پ.ن 4:

یه تجربه تو محیط کاری هست که شما تا زمانی که بهتون شرح شغلی و کار واگذار نشده، اگر در جایگاه مدیریت کسب و کار یا مدیریت اون بخش نیستید، نباید گردن بگیرید؛ وگرنه میشید رضا در محیط شغلی!

یعنی تو اسم‌ت خورده فلان ولی در عمل پر شال‌ت ده‌ها کار دیگه انجام می‌دی که پروژه جمع بشه ولی می‌ری مثلا تو یک شرکتی که ساختار داره و افراد از شما پروژه نمی‌خواند بلکه تسک می‌خواند، قشنگ تو پاچه‌تون می‌ره و اذیت می‌شید

حالا یا شرکت این کاری که شما می‌کنید رو قدر می‌دونه یا واقعا رفته تو پاچه‌تون

تجربه مثلا شرکتی که سمت مصلا هست و روزهای فرد من به عنوان مدیر سیستم و روش میرم اونجا، این‌طوری بود که مگه میشه یه بیزنس با قدمت چند ده سال یه نرم‌افزار مدیریت تسک یا مدیریت فرایند نداشته باشه؟ بعد خوردم به چالش اینکه مگه میشه بیزنس به این بزرگی و آی‌سی‌تی بودن یه لینوکس‌کار تو بدنه مدیریتی‌ش نباشه که سرور لینوکس راه بندازه؟ بعدش رفتم به چالش مگه میشه ۲۰ نفر ادم تست نفوذ نرم‌افزار و پن‌تست بلد نباشند یه رمز روت لینوکس و نرم‌افزار رو بشکونند؟

همه چالش‌های بالا شاید یک اتفاق معمول برای من باشه ولی اونجا چالش بود و جالب توجه که جواب همه، خیر بود، یعنی نداشتند و در کمال تعجب مدیرعامل و رییس هیئت مدیره که چرا ندارید و چرا نمی‌کنید، خودم همه رو انجام دادم (رفت تو پاچه‌م چون گردن نمی‌گرفتند که درست کنند)

امروز مثلا داشتم به یکی از لایه مدیریت توضیح میدادم که چهارشنبه رفتم و با فلان شرکت صحبت کردم و اینطوری شد و اونطوری شد، آخر صحبت گفت که چرا با من هماهنگ نکردی که من هم بیام؟ بعد من اینطوری بودم که جای دستت درد نکنه که خارج از تایم کاری و تعهدم به شرکت تو، رفتم یه جلسه در لایه بیزینس کلان رو برگزار کردم و نتیجه نسبتا مثبت گرفتم ولی تو اینطوری میگی

بعد از اون یه چند ساعت بعدترش پیش یکی دیگه از مدیرها رفتم و داشتم باهاش حرف میزدم که فلان شد و اینطوری و اونطوری و اگر تو دستورالعمل برای این کار نداری، من تو واحد خودم (برای تاکید، من مدیر بخش سیستم و روش هستم) این رو مینویسم و میدم به تو که ابلاغ کنی، اینجوری بود که حالا نیازی نیست بذار برم بپرسم که بزنیم و بنویسیم یا نه؛ من باز هم اینطوری بودم که مرد حساب تو 11 سال هست که اینجا مدیر هستی و هنوز میری اجازه میگیری؟

شاید باید من هم سوت زنان از کنار خیلی از چالش هایی که مثل آب خوردن حل کردنشون طول میکشه بگذرم و بذارم این چالش براشون بحران بشه؛ نمیدونم

ما منطقیای مدیریت بحران کُن!

مثال دیگه ش یه سرویسی هست که چند ده هزار دلار یه شرکتی با شرکت قبلی خانمم قرارداد بسته بود و بعد از 3 سال هنوز تیم چند نفره اون ها نتونستند بالا بیارند بعد من کدش و کل سامانه رو 2 روزه بالا آوردم؛ خانمم بعد از پرزنت و تحویل سامانه یه سرویس مشابه ای رو گفت که این هم میتونیم بالا بیاریم؟ گفتم احتمالا 3 روزه میشه بالا آورد که 2 روزش رو قبلا انجام دادیم (من فرایندی نگاه کردم و دیدم که ورک فلو سامانه قبلی با این یکی زیاد فرقی نمیکنه و همون قبلی رو میتونم با یه خرده تغییر به این جدیده تبدیل کنم)؛ قرار شد که خانمم بره در لایه مدیریت شرکت جدیدشون صحبت کنه که یه همچین چیزی رو برای شوآف براتون بالا میاریم ولی از اون طرف هوامون رو داشته باشید. حالا هنوز که این صحبت پیش نرفته ببینیم میشه یا نه

پ.ن 5: (یه خرده فنی)

تا زمانی که سیستم‌عامل انحصاری و یا اوپن سورس ندارید، اساسا اینکه اطمینان به این داشته باشید که شنود می‌شوید یا نمی‌شوید، چیز محالی هست!

حتی اخیرا به نظرم کامپایلر اختصاصی هم نداشته باشید، به گزاره پاراگراف بالا میشه اعتماد کامل نداشت (یعنی مشکل با سیستم‌عامل اختصاصی حل نخواهد شد) حالا از نظر فنی چرا همه چی بسته هست؟ با در نظر گرفتن دو گزاره بالا این اتفاق میافته که شبکه و دسترسی شما میتونه به عنوان یک نقطه برای اتصال نفر بعدی باشه و سیستمی که قرار بود از یک سری چیزها حفاظت کنه (که اولینش جلوگیری از تبدیل معترض به مجرم هست) به راحتی کولپس (فروپاشی) میکنه؛ فلذا ناراحت و عصبانی باشید ولی از اتفاقات عدم دسترسی کینه نداشته باشید، راه دیگه ای به ذهنشون نرسید؛ یعنی شاید شما تو خونه تون نشستید و هیچ کاری نمیکنید و صرفا میخواهید اخبار چک کنید ولی یه نفر تو خیابون داره ماشین آتیش میزنه، اینکه بتونند از نظر شبکه ارتباطی شما رو با اونی که پایین خیابون داره ماشین آتیش میزنه جدا کنند از نظر فنی به راحتی امکان پذیر نیست

(دارم ماله ج.ا رو میکشم؟ با افتخار بله

آیا حرفی که زدم از نظر فنی غلط هست و صرفا ماله کشی هست؟ خیر)

پ.ن 6:

یه فوت کوزه گری تو گزارش های اوسینتی و گزارش هایی که حاصل تجمیع چند ده تا گزارش در کنار هم، هست وجود داره؛ اون هم اینه که شما بتونید نحوه رفرنس دهی تو مطالب مختلف و همچنین لحن نوشتار افراد رو یکپارچه کنید تا به گزارش نهایی کارفرما برسید؛ یعنی مثلا یک گزارش باید تولید کنید که فلانی که تو یک کشور دیگه هست در یک بازه زمانی مشخص چه کارهایی انجام داده؛ می آیید این رو تقسیم میکنید به مثلا 5 تا گزارش که یکی بره در مورد فرهنگ های مختلف و مرتبط اون کشور یک سری گزارش تهیه کنه، یکی وقایع اون بازه زمانی رو بره ببینه، یکی در مورد افراد مرتبط تحقیق کنه و یکی شبکه های اجتماعی یارو رو بررسی کنه؛ در نهایت شما به عنوان بخش ستاد و تحویل دهنده گزارش هایی که بخش صف درست کردند باید بتونید این چند تا گزارش رو بهم وصله و پینه کنید و یک چیز تمیز و منطقی تحویل کارفرما بدید و این هم یک هنری هست که تو جایی که نیاز هست به خاطر ماهیت تقسیم کارها بین چند نفر و تولید گزارش های مختلف و... اگر تو بخش ستاد بوده باشید و کار صف هم کرده باشید باید یاد بگیرید یا تجربه کنید

پ.ن 7:

بین موبایل فروش/ دلال با مسئولی که بلد نیست با مردم حرف بزنه ولی میخواد کار درست حذف یارانه رانتی رو انجام بده، با افتخار از دومی حمایت می‌کنم

یعنی اساسا تبدیل بانک مرکزی به یک صرافی ملی کار بزرگ و خوب و تجربه شده ای هست که باید یکی بالاخره گردن میگرفت که بالاخره شد

"تراستی‌ها تا دیروز اقتصاد ایران را گروگان گرفته بودند و امروز امنیت ایران را هدف گرفته‌اند و بیش از ۱۰ میلیارد دلار از منابع ارزی ایران را بلوکه کرده‌اند. "

پ.ن 8:

روز یکشنبه ها در بخشی از حرم امام رضا ع منبر فضائل علوی برگزار میشه و ظاهرا قرار هست این همیشه تا همه وقت ادامه داشته باشه؛ ان شاءالله با دوام باشه

فیلم های این رو میتونید در کانال های مرتبط با آستان قدس و همچنین کانال های مرتبط با حامد کاشانی تحت عنوان منبر فضائل علوی در آستان رضوی دنبال کنید.

منبر فضائل علوی در آستان رضوی؛ جلسه اول | https://www.aparat.com/v/szd9to3

منبر فضائل علوی در آستان رضوی؛ جلسه دوم | https://www.aparat.com/v/ljhk678