هوش مصنوعی On-Premise چیست؟ اجرای AI داخل سازمان

هوش مصنوعی On-Premise چیست؟

سرویس‌های عمومی AI راه‌اندازی سریع و ساده‌ای دارند، اما برای همه سازمان‌ها مناسب نیستند.

بعضی سازمان‌ها با داده‌هایی کار می‌کنند که به دلایل امنیتی، قراردادی یا معماری داخلی نمی‌خواهند بدون کنترل مشخص از زیرساخت تعریف‌شده خارج شوند.

در این شرایط، استقرار On-Premise یکی از گزینه‌های معماری است. در این مدل، بخش یا تمام اجزای سامانه هوش مصنوعی روی زیرساختی اجرا می‌شوند که تحت کنترل مستقیم سازمان قرار دارد.

این زیرساخت ممکن است شامل سرورهای GPU، Virtualization، Kubernetes، Object Storage، Vector Database، Model Server، API Gateway، Monitoring و IAM باشد.

انتخاب این معماری باید در چارچوب نیازهای هوش مصنوعی سازمانی و الزامات واقعی هر مجموعه انجام شود.

هوش مصنوعی سازمانی

فناوری

On-Premise چه تفاوتی با Cloud و Private Cloud دارد؟

هیچ‌کدام ذاتاً بهتر نیستند. انتخاب درست به نیاز سازمان بستگی دارد.

Cloud

مدل و زیرساخت اصلی روی سرویس‌دهنده ابری اجرا می‌شوند.

Private Cloud

سازمان کنترل بیشتری بر محیط اجرا، شبکه یا منابع اختصاصی دارد، اما همچنان از معماری Cloud استفاده می‌کند.

On-Premise

زیرساخت در دیتاسنتر یا محیط تحت کنترل خود سازمان اجرا می‌شود.

چرا بعضی سازمان‌ها On-Premise را انتخاب می‌کنند؟

کنترل بیشتر روی جریان داده

سازمان می‌تواند مشخص کند داده کجا ذخیره و پردازش شود.

کنترل شبکه

سامانه می‌تواند در شبکه داخلی، محیط محدود یا حتی معماری‌های بدون اتصال مستقیم به اینترنت اجرا شود.

یکپارچگی با زیرساخت موجود

AI می‌تواند به سامانه‌ها، Storage و IAM داخلی نزدیک‌تر باشد.

کنترل روی مدل و Runtime

سازمان می‌تواند مدل، نسخه، Runtime و سیاست‌های اجرای آن را مدیریت کند.

معماری نمونه On-Premise AI

یک معماری ممکن است شامل User، Gateway / Auth، AI Platform، Model Server و Knowledge / Tools / Internal Systems باشد. Logging، Monitoring، IAM و Audit نیز به‌صورت لایه‌های کنترلی در کنار این اجزا عمل می‌کنند.

سخت‌افزار مورد نیاز

نیاز سخت‌افزاری به عواملی مانند اندازه مدل، Quantization، Context Length، Concurrent Users، Batch Size، Tokens per Second، KV Cache و Precision وابسته است.

یک مدل کوچک Quantized ممکن است روی یک GPU اجرا شود، اما یک سامانه چندکاربره با مدل بزرگ ممکن است به چند GPU و Orchestration نیاز داشته باشد. بنابراین نمی‌توان یک GPU یا VRAM ثابت را برای همه پروژه‌ها تجویز کرد.

امنیت در On-Premise

Local بودن مساوی Secure بودن نیست. یک سامانه داخلی همچنان ممکن است در معرض Prompt Injection، Data Leakage، Excessive Permission، Credential Leakage، Insecure API، Model Theft یا Misconfiguration باشد.

IAM، Least Privilege، Audit، Network Segmentation، Secret Management و Monitoring همچنان ضروری هستند.

محدودیت‌های On-Premise

On-Premise مسئولیت بیشتری به تیم داخلی منتقل می‌کند. سازمان باید خرید سخت‌افزار، برق، خنک‌سازی، Storage، Driver، Model Runtime، Scaling، Backup، Monitoring، Patch، Security و Availability را مدیریت کند.

در Cloud بخشی از این مسئولیت‌ها توسط Provider مدیریت می‌شوند.

Hybrid AI

در بسیاری از سازمان‌ها بهترین معماری الزاماً Cloud یا On-Premise خالص نیست. Hybrid AI می‌تواند ترکیبی از این دو باشد: داده حساس داخل سازمان بماند، مدل اصلی داخل سازمان اجرا شود، برخی سرویس‌های عمومی در Cloud استفاده شوند و درخواست‌ها بر اساس نوع داده Route شوند.

این معماری می‌تواند میان کنترل، هزینه و انعطاف تعادل ایجاد کند.

On-Premise و RAG

در معماری داخلی می‌توان کل زنجیره RAG را داخل سازمان اجرا کرد: اسناد، Parser، Embedding، Vector Store، Retrieval و LLM. در این حالت داده و پردازش می‌توانند داخل شبکه باقی بمانند.

برای آشنایی با این معماری، مقاله RAG چیست؟ را بخوانید.

RAG چیست؟

چه سازمان‌هایی بیشتر به On-Premise فکر می‌کنند؟

سازمان‌هایی که داده حساس دارند، نیازمند کنترل شبکه هستند، زیرساخت GPU موجود دارند، حجم استفاده بالایی دارند، با محدودیت اتصال اینترنت روبه‌رو هستند یا نیازمند استقرار داخلی‌اند، ممکن است On-Premise را جدی‌تر بررسی کنند.

اما برای همه سازمان‌ها انتخاب اقتصادی یا ساده‌ای نیست.

On-Premise در آیوان

در آیوان، استقرار داخلی می‌تواند بخشی از معماری هوش مصنوعی سازمانی باشد؛ به‌ویژه در محیط‌هایی که کنترل محل پردازش، شبکه و دسترسی به داده اهمیت دارد. انتخاب معماری باید بر اساس نیاز واقعی سازمان و نه صرفاً ترجیح فناوری انجام شود.

هوش مصنوعی سازمانی