N.078

مشکل امنیت هوش مصنوعی، مشکل فنی نیست

یه کارمند یه افزونه رو بدون اجازه‌ی IT نصب می‌کنه. یه ایمیل با صدای مدیرعامل جعلی میاد. هیچ‌کدوم این‌ها با فایروال قوی‌تر حل نمی‌شن.

یه سناریو رو تصور کن، فقط چهار قدم.

قدم اول: یه نفر از تیم فروش، یه افزونه‌ی هوش مصنوعی توی مرورگرش نصب می‌کنه. بدون تأیید IT، چون فقط می‌خواسته سریع‌تر ایمیل بنویسه.

قدم دوم: همون افزونه، با یه کلید API عمومی، به صفحات باز مرورگر دسترسی می‌گیره.

قدم سوم: از طریق نشست همون کاربر، به سیستم‌های متصل به دیتابیس مالی یا تحقیق‌وتوسعه می‌رسه.

قدم چهارم: داده، بدون این‌که جایی لاگ ثبت بشه، به سرور بیرونی همون ابزار فرستاده می‌شه.

چهار قدم. بدون این‌که کسی قصد بدی داشته باشه. بدون این‌که هیچ هکری وارد بشه.

چیزی که این سناریو رو می‌سازه، تکنولوژی نیست

می‌تونستم این یادداشت رو با فهرست تهدیدها شروع کنم: Shadow AI، تزریق پرامپت، افزایش سطح دسترسی، اتوماسیون کنترل‌نشده. همه‌شون واقعی‌ان و باید جدی گرفته بشن. ولی چیزی که برام جالب‌تره اینه: چرا اون کارمند اصلاً افزونه رو نصب کرد؟

جوابش معمولاً این نیست که «کارمند بی‌مسئولیت بود». جوابش اینه که فرآیند رسمی گرفتن تأیید از IT، آن‌قدر کند یا پیچیده بود که راحت‌تر دیدن دور زدنش. این دقیقاً همون الگویی‌ست که همیشه توی سازمان‌ها تکرار می‌شه: وقتی مسیر رسمی کند باشه، مردم مسیر غیررسمی پیدا می‌کنن. Shadow AI فقط یه نسخه‌ی جدید از همون الگوی قدیمیه.

دومین تهدید، به‌کل شکل دیگه‌ایه

جدا از ایجنت‌ها و افزونه‌ها روی شبکه، یه دسته‌ی کاملاً متفاوت از خطر هست: رفتار روزمره‌ی خود آدم‌ها با ابزارهای عمومی AI.

کسی قرارداد محرمانه رو کپی می‌کنه توی ChatGPT تا خلاصه‌ش کنه. کسی کد بخشی از محصول رو می‌ذاره اونجا تا باگش رو پیدا کنه. هیچ‌کدوم این‌ها نفوذ نیست. راحتی‌ست که تبدیل به آسیب‌پذیری شده.

و بعد یه لایه‌ی ترسناک‌تر: جعل صدا. تصور کن یه ایمیل با لحن دقیق مدیرعامل، درخواست واریز فوری می‌کنه. یا بدتر، یه تماس صوتی با صدای جعلیِ همون مدیر. کارمند مالی چیکار می‌کنه؟ اگه فرهنگ سازمان اینه که «وقتی مدیرعامل می‌گه فوریه، سؤال نمی‌پرسیم»، این دقیقاً همون فرهنگیه که این حمله ازش سوءاستفاده می‌کنه.

پس چرا این رو مسئله‌ی مدیریتی می‌دونم، نه فقط فنی

چون هر سه تا سناریوی بالا (Shadow AI، افشای داده در ابزار عمومی، جعل صدا) یه ریشه‌ی مشترک دارن: یه جای فرهنگ سازمانی، مسیر امن رو سخت‌تر از مسیر ناامن کرده.

فایروال قوی‌تر، آنتی‌ویروس بهتر، تفکیک شبکه‌ای دقیق‌تر همه‌ی این‌ها لازمن، ولی هیچ‌کدومشون این ریشه رو حل نمی‌کنن.

نقطه‌ی کوری که باید صادقانه بگم

نباید این رو بیش‌ازحد ساده کنم. کنترل‌های فنی (تفکیک VLAN، محدودکردن دسترسی حساب سرویس، لاگ‌گیری از اقدامات خودکار) واقعاً ضروری‌ان و بدون اون‌ها، حتی بهترین فرهنگ سازمانی هم کافی نیست. این یادداشت نمی‌گه «فقط فرهنگ رو درست کن، بقیه حل می‌شه». می‌گه فرهنگ و رفتار سازمانی، لایه‌ای‌ست که معمولاً نادیده گرفته می‌شه، در حالی که همون‌قدر مهمه که فایروال.

چند قدم عملی، نه فقط هشدار

۱. مسیر رسمی گرفتن ابزار جدید رو سریع کن. اگه تأیید یه ابزار AI دو هفته طول می‌کشه، مردم صبر نمی‌کنن. یه مسیر سریع برای درخواست‌های کم‌ریسک بساز.

۲. مشخص کن چه داده‌ای هرگز نباید وارد ابزار عمومی بشه. نه یه سند طولانی حقوقی که کسی نمی‌خونه؛ یه قانون ساده و به‌خاطرماندنی.

۳. یه رویه‌ی «تأیید دوم» برای درخواست‌های فوری مالی بساز. حتی اگه صدا واقعی به‌نظر برسه، درخواست واریز غیرعادی باید از یه کانال دوم (نه فقط تماس صوتی) تأیید بشه.

۴. از کارمندی که یه افزونه‌ی غیرمجاز نصب کرده، اول بپرس چرا، نه این‌که مجازاتش کن. جوابش معمولاً یه مشکل واقعی توی فرآیند رسمیه که ارزش شنیدن داره.

چند سؤال پرتکرار

۱. آیا محدودکردن دسترسی به ابزارهای AI، بهره‌وری تیم رو پایین نمیاره؟
اگه محدودیت بدون جایگزین باشه، بله. اگه همراه با یه مسیر رسمی سریع برای تأیید ابزارهای جدید باشه، نه چون مردم دیگه نیازی به دور زدن قانون ندارن.

۲. چطور بفهمیم چه ابزارهای AI غیرمجازی الان توی سازمان استفاده می‌شن؟
یه ممیزی ساده از ترافیک شبکه و افزونه‌های نصب‌شده روی دستگاه‌های سازمانی، معمولاً غافلگیرکننده‌ست. این کار رو با IT هماهنگ کن، نه به‌عنوان تنبیه، به‌عنوان شناخت وضعیت واقعی.

۳. آیا این خطرها فقط برای سازمان‌های بزرگ جدی‌ان؟
نه. سازمان‌های کوچیک‌تر معمولاً کنترل کمتری دارن و دقیقاً به همین دلیل، آسیب‌پذیرتر می‌شن نه چون کمتر در معرض خطرن، چون کمتر آماده‌ان.

در آخر

دفعه‌ی بعد که یه گزارش امنیتی درباره‌ی هوش مصنوعی دیدی، فقط به بخش فنی‌اش نگاه نکن. از خودت بپرس: کدوم قسمت از فرهنگ یا فرآیند سازمان من، مسیر ناامن رو راحت‌تر از مسیر امن کرده؟ جواب اون سؤال، معمولاً از هر سرمایه‌گذاری فنی هم مهم‌تره.

یادداشت‌های تازه رو مستقیم بگیر

هر یادداشت جدید، مستقیم توی ایمیلت. بدون اسپم، هر وقت خواستی لغو کن.

?>