مدل زبانی لوکال؛ چه چیزی به دست می‌آورید و چه چیزی از دست می‌دهید

اجرای مدل روی سرور خودتان یک مزیت قطعی دارد و چند هزینه‌ی واقعی. صفحه‌هایی که فقط مزیتش را می‌گویند به شما کمکی نمی‌کنند، چون تصمیم واقعی سر همان هزینه‌ها گرفته می‌شود.

مدل زبانی لوکال چه تفاوتی با سرویس ابری دارد؟

در حالت لوکال، مدل روی سرور خود سازمان اجرا می‌شود و هیچ متنی از شبکه خارج نمی‌شود؛ در حالت ابری، هر پرسش و هر تکه سند به سرویس بیرونی فرستاده می‌شود. در مقابل، حالت لوکال به سخت‌افزار و نگهداری نیاز دارد و مدل‌های قابل اجرا روی سرور معمولی معمولاً از بزرگ‌ترین مدل‌های ابری کوچک‌ترند.

مزیتی که فقط همین حالت می‌دهد

وقتی مدل داخل شبکه اجرا می‌شود، پرسش کاربر و تکه‌های سندی که به مدل داده می‌شوند هیچ‌وقت از مرز سازمان خارج نمی‌شوند. این چیزی نیست که با قرارداد یا تنظیمات یک سرویس ابری بشود به همان اندازه تضمین کرد؛ تفاوت ساختاری است.

برای سازمان‌هایی که باید در ممیزی نشان بدهند داده کجا پردازش شده، این تفاوت معمولاً تعیین‌کننده است.

هزینه‌های واقعی که باید بدانید

هزینهچرا وجود داردچه چیزی کمکش می‌کند
سخت‌افزاراجرای مدل به منابع پردازشی اختصاصی نیاز داردانتخاب اندازه‌ی مدل متناسب با کاربرد واقعی
نگهداریبه‌روزرسانی و پایش بر عهده‌ی سازمان استتعریف مالک مشخص در واحد فناوری
سقف تواناییمدل قابل اجرا معمولاً از بزرگ‌ترین مدل ابری کوچک‌تر استمحدودکردن دامنه به پرسش‌وپاسخ روی اسناد سازمان

چرا این محدودیت در این کاربرد کمتر آزار می‌دهد

اگر انتظار شما از مدل، نوشتن متن خلاقانه یا استدلال پیچیده‌ی عمومی باشد، تفاوت اندازه‌ی مدل خودش را نشان می‌دهد. ولی کاربرد اصلی در سازمان چیز دیگری است: خواندن چند تکه سند که همین حالا جلوی مدل گذاشته شده و ساختن یک پاسخ دقیق از رویشان.

در این کار، کیفیت بازیابی معمولاً بیشتر از اندازه‌ی مدل تعیین‌کننده است. یعنی سرمایه‌گذاری روی درست‌کردن لایه‌ی بازیابی، بازده بیشتری دارد تا رفتن سراغ بزرگ‌ترین مدل ممکن.

ادعایی که نمی‌کنیم

در این صفحه عمداً هیچ عدد دقتی برای مدل نیامده. عدد دقت بدون گفتن اینکه روی چه مجموعه‌ای و با چه سنجه‌ای اندازه‌گیری شده بی‌معناست، و مجموعه‌ی اسناد هر سازمان با سازمان دیگر فرق دارد.

راه درست سنجش این است که روی نمونه‌ای از اسناد واقعی خودتان آزمایش شود.

پرسش‌های متداول

مدل زبانی فارسی روی سرور داخلی چه فرقی با سرویس ابری دارد؟

در سرویس ابری، متن پرسش و تکه‌های سند از سازمان خارج می‌شوند. مدل زبانی فارسی که روی سرور داخلی خودتان اجرا شود این مسیر را حذف می‌کند: پردازش داخل همان شبکه انجام می‌شود و چیزی بیرون نمی‌رود. این همان چیزی است که معمولاً «هوش مصنوعی خصوصی» نامیده می‌شود — تفاوتش با نسخه‌ی ابری در کیفیت پاسخ نیست، در محل نگهداری داده است.

چه سخت‌افزاری لازم است؟

به اندازه‌ی مدل و تعداد کاربر همزمان بستگی دارد و بدون بررسی نمی‌شود عدد داد. برآورد پس از بررسی حجم اسناد و بار مورد انتظار ارائه می‌شود.

مدل فارسی را خوب می‌فهمد؟

کیفیت فارسی بین مدل‌ها متفاوت است و بخش مهمی از کار، انتخاب و تنظیم لایه‌ی بازیابی فارسی است. سنجش واقعی روی اسناد خودتان انجام می‌شود.

بدون اینترنت کار می‌کند؟

بله. وقتی مدل داخل شبکه اجرا می‌شود، اتصال به اینترنت برای پاسخ‌دادن لازم نیست.

به‌روزرسانی مدل چطور انجام می‌شود؟

به‌صورت کنترل‌شده و در زمان انتخابی سازمان، نه خودکار — چون تغییر مدل می‌تواند رفتار پاسخ‌ها را عوض کند.

روی اسناد خودتان بسنجید

به‌جای اتکا به عدد دقت عمومی، کیفیت را روی نمونه‌ای از اسناد واقعی سازمان اندازه بگیریم.

درخواست دمو

خانواده‌ی آرتین

شرکت هوش گستر فردا آرتین چند محصول هوش مصنوعی فارسی می‌سازد. هر کدام کار خودش را می‌کند — این‌ها را ببینید تا بدانید کدام به کار شما می‌آید.