ما از الگوریتم‌ها و تکنولوژی هوش مصنوعی استفاده می‌کنیم تا هم کارها را سریعتر و راحت‌تر انجام بدهیم و هم نقش تعصب‌های انسانی را در تحلیل‌ها و تصمیم‌گیری‌ها کم کنیم. اما این کار راحتی نیست و شکاف داده‌ای باعث می‌شود که الگوریتم‌ها هم تحت تاثیر این شکاف داده‌ای قرار بگیرند و نتیجه‌ی کارشان دچار سوگیری جنسیتی باشد.
نویسنده: عباس سیدین
الگوریتم‌ها و سوگیری جنسیتی
سال ۲۰۱۹ موضوع تازه‌ای در دنیای تکنولوژی توجه رسانه‌ها را جلب کرد: وقتی زن و شوهری به طور همزمان سقف خرید اعتباری کارت اپل خود را مقایسه کردند متوجه شدند سقف مجاز خرید اعتباری مرد ۲۰ برابر بیشتر از همسرش است. این اختلاف سقف اعتبار عجیب بود چون درآمد زن و اعتبار بانکیش از شوهرش بیشتر و بهتر بود. این بود که پرسش تازه‌ای مطرح شد. آیا الگوریتم‌هایی که اطلاعات افراد را بررسی می‌کنند و تعیین می‌کنند سقف اعتبار یک کارت اعتباری چقدر باید باشد عادلانه و درست عمل می‌کنند؟
قضیه فقط به کارت‌های اعتباری هم ختم نمی‌شود. الگوریتم‌هایی که رزومه و اطلاعات کاری افراد را برای استخدام توسط شرکت‌ها بررسی می‌کنند هم همین سوگیری جنسیتی را دارند. این سوگیری‌ها از کجا می‌آید؟ و برای رفعشان چه‌کار باید کرد؟
الگوریتم‌ها چطور کار می‌کنند؟
یک شرکت بزرگ ساخت نرم‌افزار می‌خواهد برنامه‌نویس استخدام کند. یکی از راه‌ها این است که از داوطلبان رزومه و سوابق کاری بگیرد و آنها را تک به تک بررسی کند. یک راه دیگر این است که از الگوریتم‌های هوش مصنوعی استفاده کند، شبیه کاری که پلتفرم Gild انجام می‌دهد. این پلتفرم برای تعیین بهترین گزینه‌ی استخدام، فقط اطلاعات کاری و رزومه‌ی افراد را بررسی نمی‌کند بلکه ردپای دیجیتال آنها را هم دنبال می‌کند تا ببیند مثلاً یک برنامه‌نویس چقدر با بدنه‌ی دنیای برنامه‌نویس‌ها ارتباط دارد. اینطوری فردی انتخاب خواهد شد که احتمال بیشتری دارد در جریان تحولات روز باشد. این ایده‌ی خوبی است اما مشکلات غیرمترقبه‌ای به همراه داشته.
وقتی داده‌ها و ردپای دیجیتال هزاران نفر توسط الگوریتم‌های هوش مصنوعی بررسی شد بعضی چیزها به عنوان معیار یک برنامه‌نویس بودن پیدا شد که لزوماً به خود برنامه‌نویسی ربط نداشت. مثلاً چون تعداد زیادی برنامه‌نویس به کتاب‌های مصور ژاپنی (مانگا) علاقمند بوده‌اند، این علاقه به مانگا به صورت ندانسته به یکی از معیارهای برنامه‌نویس بودن تبدیل شده بود و اگر شما برنامه‌نویسی باشی که به مانگا هم علاقه داشته باشی امتیاز بالاتری کسب می‌کنی. اما علاقه به مانگا بیشتر بین مردها رایج است و زن‌های برنامه‌نویس لزوماً مثل همکارهای مردشان به مانگا علاقه ندارند.
نیت خیر الگوریتم‌سازها
اصلاً ایده‌ی استفاده از الگوریتم -در کنار سرعت و بهره‌وری بیشتر- این بود که مثلاً در فرآیند استخدام نقش سوگیری‌ها و تعصب‌های شخصی و انسانی را کنار بگذارند. اگر مسئولی که قرار است رزومه‌های داوطلبان را بررسی کند سوگیری جنسیتی (یا نژادی یا هر سوگیری دیگری) داشته باشد، این سوگیری روی تصمیمش تاثیر می‌گذارد. اما نکته اینجا است که الگوریتم‌ها از دیتایی استفاده می‌کنند که ما آدم‌ها برایشان فراهم می‌کنیم. و هرسوگیری که ما داشته باشیم در آن دیتایی که برای الگوریتم فراهم می‌کنیم منعکس می‌شود. قضیه وقتی پیچیده‌تر می‌شود که این الگوریتم‌ها معمولاً محرمانه هستند و کسی خبرندارد چطور کار می‌کنند یا بر اساس چه نوع اطلاعاتی توسعه داده شده‌اند.
شکاف داده‌ای در یادگیری ماشینی
هر سیستمی که بر اساس یادگیری ماشینی کار می‌کند برای شروع کارش احتیاج به مقدار زیادی داده دارد تا آنها را بررسی کند و اصطلاحاً «یاد بگیرد». مثلاً اگر قرار است تلفن هوشمند ما جمله‌ی «به مامان تلفن کن» را بفهمد، باید تعداد زیادی از این جمله را در بسترهای مختلف و با صداهای مختلف دریافت کند (یا «بشنود») تا کم‌کم الگوی آن را پیدا کند. حالا اگر در این داده‌های اولیه سوگیری جنسیتی وجود داشته باشد (مثلاً همه یا اکثرش صدای مردان باشد) این الگوریتم جنس صدای مردانه با فرکانس‌های بم‌ترش را به عنوان بخشی از اطلاعات دریافت می‌کند و در عمل هم می‌بینیم که دستیارهای تلفن‌های هوشمند یا خودروها با صدای مردها بهتر کار می‌کنند تا زن‌ها.
در کتاب «زنان نامرئی» هم خواندیم که شبیه همین مشکل در بخش‌های مختلفی که با هوش مصنوعی کار می‌کنند وجود دارد. مثلاً الگوریتم‌های تشخیص چهره، در تشخیص چهره‌ی مردها معمولاً خیلی بهتر عمل می‌کنند. این هم باز به همان شکاف داده‌ای برمی‌گردد.
خلاصه کتاب زنان نامرئی را در اپیزود ۵۸ پادکست بی‌پلاس بشنوید
شکاف داده‌ای، سوگیری جنسیتی را تشدید می‌کند
پیامد این اتفاق‌ها این است که مثلاً اگر شما یک برنامه‌نویس زن باشید و رزومه‌تان توسط الگوریتمی شبیه مثال بالایی بررسی شود، در رقابت با مردی که از مهارت و توانایی هم‌سطحتان دارد شانس کمتری برای استخدام دارید. این یک مشکل است که مشکل کمی هم نیست. مشکل دوم و بدتر این است که همین اتفاق راه را باز می‌کند تا آن شکاف داده‌ای در الگوریتم تشدید شود.
وقتی شرکت مورد نظر یک برنامه‌نویس مرد را -در رقابت با زن هم‌مهارتش- استخدام می‌کند، الگوریتم یاد می‌گیرد که تحلیلش و تصمیمش درست بوده و در شرایط مشابه باز همین نوع تصمیم‌ها را می‌گیرد. یعنی هر خطا نه فقط اصلاح نمی‌شود بلکه تشدید می‌شود.
خانم کورتز در کتاب زنان نامرئی می‌گوید اینجا هم -مثل نمونه‌های دیگری که در خلاصه‌ی کتابش شنیدیم- چاره این است که از اول حواسمان را به شکاف داده‌ای جمع کنیم.
تا وقتی که داده‌های ما بر اساس جنسیت تفکیک نشوند نمی‌توانیم بفهمیم تصمیمی که داریم می‌گیریم، و تصمیمی که الگوریتم‌های هوش مصنوعی دارند برایمان می‌گیرند آیا برای همه جواب می‌دهد یا نه.
کلیشه‌هایی که در مسائل مختلف درباره‌ی زن‌ها وجود داره فقط باعث شناخت نادرست از اون‌ها نمی‌شه، گاهی سلامت جسم و بیشتر بخوانید
عربستان سعودی کشوری است که میزان مشارکت زنان در بازار کارش خیلی پایین است. سال ۲۰۱۷ کمتر از ۱۵ درصد بیشتر بخوانید
خواندن و شنیدن درباره‌ی ظلم‌ها و جنایت‌هایی که بعضی آدم‌ها و گروه‌ها مرتکب می‌شوند سخت است؛ اما برای درک بهتر بیشتر بخوانید