این شرکت با تکنولوژی موفق به از بین بردن داعش محتوا. اما آنها همچنین پاک کردن شواهد بسیار مهم از جنایات جنگی

Filmed توسط مخالفان دولت سوریه سرباز در پشت یک وانت این فیلم لرزان نوشته شده به Facebook on Oct. 14 نشان داد نیروهای ترکیه پیاده روی خوش در سراسر سنگی دشت در شمال سوریه به سمت یک شهر که به تازگی خالی شده است توسط نیروهای ایالات متحده.

آن یکی در سراسیمگی از فیلم ها ارسال شده توسط شهروند روزنامه نگار Abo Liath Aljazarawy به Facebook صفحه chronicling سریع تغییر شکل از شمال سوریه را در نقشه سیاسی رئیس جمهور بعد از مغلوب ساختن پیشی جستن دستور داد نیروهای ایالات متحده به خروج از منطقه در اوایل این ماه.

اما روز بعد, فیلم ناپدید شده بود از اینترنت. Facebook ممنوع کرده بود خود را در صفحه.

Aljazarawy که خواسته بود با اشاره به یک نام مستعار برای خود امنیت تا به حال شده است با استفاده از این صفحه با نام چشم در Alhasakah پس از زادگاه خود برای به اشتراک گذاشتن اطلاعات در مورد جنگ داخلی سوریه با 50,000 پیروان. چند روز بود که یکی در ماه اکتبر او به اخبار نظامی جنبش. دیگران او نوشته شده فیلم ها و یا عکس نشان دادن خونین پس از حملات نظامی. نقطه او می گوید که نگه داشتن مردم عادی با اطلاع است. "ما نمی باید وفاداری به هر کسی" Aljazarawy گفت: زمان. "بسیاری از پیروان ما هستند فقط مردم عادی."

اما فیلم ها و عکس های او به اشتراک گذاشته شده نشان می دهد واقعیت جنگ داخلی سوریه شد و دلیل صفحه خود ممنوع اعلام شد. Facebook تایید به زمان که چشم در Alhasakah پرچم در اواخر سال 2019 با آن الگوریتم و همچنین کاربران برای به اشتراک گذاری "افراطی محتوا." پس از آن بود که قریب به یک انسان مدیر است که تصمیم به حذف آن. پس از مطلع شدن زمان Facebook بازسازی صفحه در اوایل فوریه برخی از 12 هفته بعد گفت: مدیر یک اشتباه کرده بود. (Facebook کاهش یافته است به می گویند که خاص و عام بودند به اشتباه پرچم جز این که شد چند وجود دارد.)

الگوریتم توسعه داده شد تا حد زیادی در واکنش به داعش که شوکه شده جهان در سال 2014 زمانی که آنها شروع به اشتراک گذاری slickly-تولید فیلم های آنلاین از اعدامها و جنگ به عنوان تبلیغات. زیرا از این راه این ویدئوها رادیکال بینندگان ایالات متحده و ائتلاف در عراق و سوریه مشغول به کار اضافه کاری به سرکوب آنها و داوطلب خدمت سربازی شبکه های اجتماعی برای کمک به. به سرعت این شرکت کشف کرده اند که وجود دارد بیش از حد محتوا برای حتی یک تیم از انسان ها برای مقابله با. (بیش از 500 ساعت فیلم در حال آپلود شده در یوتیوب در هر دقیقه است.) پس از سال 2017, التماس اند با استفاده از الگوریتم های به طور خودکار تشخیص افراطی محتوا. در اوایل این الگوریتم خام بودند و تنها تکمیل انسانی مدیران کار. اما در حال حاضر پس از سه سال آموزش آنها مسئول قریب به اتفاق بسیاری از تشخیص. Facebook در حال حاضر می گوید: بیش از 98 درصد از مطالب حذف شده برای نقض قوانین خود را در افراط گرایی است پرچم به صورت خودکار. در یوتیوب در سراسر هیئت مدیره بیش از 20 میلیون فیلم گرفته شده را قبل از دریافت یک نمایش در سال 2019. و به عنوان coronavirus در سراسر جهان در اوایل سال 2020 Facebook, یوتیوب و توییتر خود را اعلام کرد الگوریتم را در یک حتی سهم بیشتری از محتوای اعتدال با انسان مدیران منع از مصرف مواد حساس در خانه با آنها.

اما الگوریتم های معروف بدتر از انسان در درک یک چیز بسیار مهم: متن. در حال حاضر به عنوان Facebook و YouTube به تکیه بر روی آنها بیشتر و بیشتر حتی گناه, عکس ها و ویدئوها به خصوص از مناطق جنگی در حال جاروب کردن و حذف شد. این محتوا می تواند در خدمت یک هدف مهم برای هر دو غیر نظامی بر روی زمین — که آن را حیاتی را فراهم می کند زمان واقعی اطلاعات و حقوق بشر مانیتور دور. در سال 2017, برای اولین بار, دادگاه جنایی بین المللی در هلند صادر شده علیه جنایات کیفرخواست بر اساس ویدئوها از لیبی ارسال شده در رسانه های اجتماعی. و به عنوان خشونت-تشخیص الگوریتم توسعه داده اند, جنگ مانیتور توجه به غیر منتظره عوارض جانبی بیش از حد: این الگوریتم می تواند از بین بردن مدارک و شواهد از جنایات جنگی از اینترنت قبل از هر کسی حتی می داند که در آن وجود دارد.

در یک روز بارانی در اوایل ژانویهکریس وودز منجر به راه های باریک راه پله از پایان-از-تراس خانه در پردیس طلافروشان دانشگاه در جنوب شرقی لندن است. دو طبقه بالا در اینجا در خدمت به عنوان پایه Airwars که جنگل تاسیس در سال 2014 به نگه داشتن ارتش به حساب تلفات ملکی. از این تنگ ستاد او و تیم کوچک جمع آوری مدارک و شواهد از بیش از 52,000 غیر نظامی و میر بسیاری جمع آوری شده از رسانه های اجتماعی. آنها را مجبور به آمریکا و نیروهای ائتلاف در عراق و سوریه برای به اشتراک گذاشتن اطلاعات ماهانه درباره غیرنظامیان کشته شده توسط وثیقه, خسارت, و نگه داشتن چشم در ترکیه و ارتش بیش از حد. آنها همچنین به تازگی گسترش برای پوشش سومالی و در حال کار بر روی یک یمن بایگانی. این همه بودجه در یک بند کفش. "بودجه ما برای سال آینده این است که حدود یک سوم از یک میلیون پوند [$430,000] برای هر چیزی که ما انجام می دهیم" جنگل می گوید: در اتاق زیر شیروانی ، "که تقریبا قیمت یک بمب هدایت."

حذف چشم در Alhasakah آمد و به عنوان یک ضربه به این عملیات است. این صفحه یکی از جامع ترین منابع اخبار در مورد شمال و شرق سوریه می گوید محمد Jumaily یک درگیری محقق برای این گروه است. "بسته شدن آن به معنای از دست دادیم که کلید منبع محلی گزارش است که در حال حاضر بسیار پراکنده در آن منطقه است."

این یک مثال از اینکه چگونه حتی یک اشتباه حذف می توانید این کار از مدافعان حقوق بشر ، در عین حال این اتفاق می افتد در یک بعد وسیع: از 1.7 میلیون یوتیوب حفظ سوریه بایگانی برلین-بر اساس غیر انتفاعی است که دریافت شواهدی از موارد نقض حقوق بشر 16 درصد حذف شده اند. یک تکه بزرگ گرفته شد در سال 2017, فقط به عنوان یوتیوب شروع به استفاده از الگوریتم های به پرچم خشونت و افراطی محتوا. و مطالب مفید است که هنوز هم در حال حذف به طور منظم. "ما هنوز هم از دیدن که این یک مشکل است می گوید:" جف دویچ رهبری محقق در سوریه بایگانی. "ما نمی گوییم که تمام این مطالب را به عمومی باقی می ماند برای همیشه لطفا برای. اما مهم این است که این محتوا آرشیو شده پس از آن در دسترس محققان به گروه های حقوق بشر به دانشگاهیان به وکلا برای استفاده در برخی از نوع قانونی پاسخگویی." (یوتیوب می گوید که در حال همکاری با سوریه بایگانی برای بهبود چگونه آنها را شناسایی و حفظ فیلم است که می تواند مفید برای گروه های حقوق بشر.)

بسیاری از افراد مشغول به کار در درگیری های نظارت بر درک کنند که رسانه های اجتماعی شرکت ها در یک موقعیت دشوار. پشت در اتاق زیر شیروانی در جنوب شرقی لندن, جنگل موافق است که مقدار زیادی از محتوای خشونت آمیز هیچ جایی در سایت های رسانه های اجتماعی. اما او نا امید است با آنچه که او می بیند که سه سال از انفعال توسط شبکه های اجتماعی زمانی که آن را می آید برای جلوگیری از با ارزش شواهد را از دست داده و برای همیشه به طور بالقوه کاهش احتمال ناقض حقوق بشر بودن محکوم جنایات خود را. "ما نظر خود را این است که اگر آنها مصمم به پاک کردن ویدئوها و عکس و پست و بنابراین ما فکر می کنم آن را باید به محاصره منطقه است که تنها در دسترس محققان با مجوز" جنگل می گوید. "در واقع در حال حاضر آن را همه یا هیچ چیز. آنها را پاک کردن کل آرشیو و همه چیز را می شود به طور دائم از دست داد تا آنجا که ما می توانید بگویید."

Facebook و YouTube را تشخیص سیستم های کار با استفاده از یک فن آوری به نام ماشین یادگیری که مقادیر عظیم داده ها (در این مورد افراطی, تصاویر, فیلم ها و فراداده) تغذیه می شوند به یک هوش مصنوعی ماهر در لکه بینی الگوهای. اوایل انواع یادگیری ماشین می تواند آموزش دیده برای شناسایی تصاویر حاوی یک خانه یا یک ماشین و یا یک چهره انسانی. اما پس از 2017, Facebook و YouTube اند تغذیه این الگوریتم محتوا است که مدیران باید پرچم به عنوان افراطی و آموزش آنها را به طور خودکار شناسایی گردن, تبلیغات, ویدئوها و دیگر ناگوار محتوا.

هر دو Facebook و YouTube در حال بدنام مخفی در مورد چه نوع از محتوای آنها با استفاده از آموزش الگوریتم های مسئول بسیاری از این حذف. که به معنی وجود دارد هیچ راهی برای خارج ناظران بدانند که آیا گناه محتوا مانند چشم در Alhasakah's — در حال حاضر تغذیه شده است در به عنوان داده های آموزشی که سازش الگوریتم تصمیم گیری. در مورد چشم در Alhasakah's حذف, "Facebook گفت:" اوه ما ساخته شده است یک اشتباه" می گوید: "قطر Kayyali به فن آوری و حمایت هماهنگ کننده در شاهد یک گروه حقوق بشر با تمرکز بر کمک به مردم ضبط دیجیتال شواهدی از موارد نقض حقوق بشر. "اما اگر آنها تا به حال با استفاده از صفحه به عنوان آموزش داده ؟ پس از آن که اشتباه شده است و به صورت تصاعدی گسترش در سراسر سیستم خود را به دلیل آن را رفتن به آموزش الگوریتم بیشتر و پس از آن که محتوای مشابهی که به اشتباه گرفته شده است رفتن به دریافت نظر گرفته شود. من فکر می کنم که دقیقا چه چیزی اتفاق می افتد در حال حاضر." Facebook و YouTube, اما هر دو انکار این است که ممکن است. Facebook می گوید آن را به طور منظم مهارت خود الگوریتم برای جلوگیری از این اتفاق می افتد. در بیانیه ای در یوتیوب گفت: "تصمیمات اتخاذ شده توسط انسان داوران کمک به بهبود دقت و صحت خودکار ما ضعیف سیستم است."

اما Kayyali می گوید نشانه هایی وجود دارد که برای عربی محتوا به خصوص راه این الگوریتم کار می تواند به داشتن یک اثر مضر. در حال حاضر افراطی اسلامی مطالب از خاورمیانه احتمالا باعث می شود تا بخش عمده ای از آموزش داده می گوید Kayyali — اگر وجود دارد هیچ راهی برای اطمینان می دانم به این دلیل که سیستم عامل نیست به اشتراک گذاری اطلاعات است. این بدان معنی است که دیگر عربی محتوا — مانند یک فیلم پس از یک بمب گذاری که در آن آپلود کرده سرزنش "داعش" در متن همراه با مثال — نیز در خطر حذف. "ما باید به طور مداوم دیده Facebook و YouTube را پایین مستندات تظاهرات از عربی زبان جهان" Kayyali می گوید.

با وجود تلفات انسانی از محتوای اعتدال درگیری ناظران می گویند یک راه برای مطمئن شوید که این مطالب را نگه داشته است حاضر است برای شبکه های اجتماعی به استخدام محتوای بیشتر مدیران و اطمینان به آنها پرداخت می شود و درمان می شود فقط به عنوان به خوبی به عنوان دیگر کارکنان. اما هر دو Facebook و YouTube در حال حرکت در جهت دیگر — تا حدودی از به رسمیت شناختن است که محتوای اعتدال می تواند طاقت فرسا و عاطفی آسیب رساندن کار تا حدودی به دلیل کامپیوتر سریع تر و تا حدودی به دلیل در حال اجرا یک الگوریتم است که ارزان تر از استخدام ماهر انسان است. "این فناوری است که بسیاری از وعده دادن و در برخی از موارد ما در حال حاضر حتی قادر به شناسایی و حذف برخی از محتوای مضر به صورت خودکار و بدون انسان نقد و بررسی" ارین Saltman, Facebook را EMEA مبارزه با تروریسم سیاست های مدیر در بیانیه ای گفت ، این مورد برای مثال با reuploads از شناخته شده افراطی محتوا. اما زمانی که الگوریتم های پرچم محتوا است که هرگز دیده می شود قبل از Facebook و YouTube و هر دو می گویند آن است که همیشه روت انسانی مدیر, که باعث می شود تصمیم نهایی در مورد اینکه آیا باید آن را حذف کرد.

که به دلیل Facebook سیاست های اجازه می دهد برخی از انواع خشونت و افراط گرایی و نه دیگران — به معنی تصمیم گیری در مورد اینکه آیا به مطالب پایین است که اغلب بر اساس زمینه های فرهنگی. تصویری از یک اعدام اشتراک گذاشته شده توسط عاملان آن به گسترش ترس ؟ و یا توسط یک شهروند روزنامه نگار به اطمینان حاصل شود جهان گسترده تر می بیند قبر نقض حقوق بشر? مدیر پاسخ به این سوالات می تواند به این معنی است که از دو یکسان ویدئوها یکی باقی می ماند آنلاین و دیگر گرفته شده است به پایین. "این تکنولوژی هنوز نمی تواند به طور موثر رسیدگی به همه چیز است که ما در برابر قوانین" Saltman گفت. "بسیاری از تصمیمات ما را پیچیده هستند و شامل تصمیم گیری در اطراف قصد و فرهنگی نکات دقیق وظریف که هنوز هم نیاز به چشم انسان و قضاوت."

در این عمل تعادل آن را Facebook ارتش از انسان مدیران — بسیاری از آنها را برون سپاری پیمانکاران — که حمل قطب. و گاهی اوقات آنها از دست دادن جای پا خود را. پس از چندین چشم در Alhasakah را نوشته بودند پرچم توسط الگوریتم ها و انسان ها به طور یکسان یک Facebook ناظر به اشتباه تصمیم گرفت صفحه باید ممنوع شود به طور کامل برای به اشتراک گذاری فیلم های خشونت آمیز به منظور ستایش آنها — نقض Facebook قوانین در مورد خشونت و افراط گرایی که دولت است که برخی از مطالب می توانید آنلاین باقی می ماند آن است که اگر ارزش خبری دارند اما اگر آن را تشویق می کند تا خشونت و یا valorizes تروریسم است. این نکات دقیق وظریف, Facebook نمایندگان گفت: زمان مهم است که برای ایجاد توازن میان آزادی بیان با یک محیط امن برای کاربران خود — و نگه داشتن Facebook در سمت راست از مقررات دولت.

Facebook مجموعه ای از قوانین در موضوع بار خوانده شده مانند یک لخته کتاب درسی در اخلاق: گردن تجزیه بدن گلو-دیسک و آدم خواری همه طبقه بندی شده به عنوان بیش از حد گرافیک و در نتیجه هرگز اجازه داد; نه تجزیه — مگر اینکه آن را در حال انجام در یک محیط پزشکی; و نه سوزاندن مردم, مگر اینکه آنها در حال تمرین خودسوزی به عنوان یک عمل سیاسی در سخنرانی که محافظت شده است. مدیران داده می شود, تشخیص, اما, اگر محتوای خشونت آمیز است که به وضوح به اشتراک گذاشته و به گسترش آگاهی از حقوق بشر است. "در این موارد بسته به اینکه چگونه گرافیک محتوا است که ما ممکن است آن را اجازه می دهد اما ما به جای یک هشدار روی صفحه نمایش در مقابل محتوا و محدودیت دید به افراد با سن 18 و یا بیش" گفت: Saltman. "ما می دانیم که هر کس نمی خواهد با قبول این سیاست ها و احترام به آن است."

اما غیر نظامی روزنامه نگاران فعال در گرما از یک جنگ داخلی همیشه لازم نیست که زمان برای خواندن چاپ خوب است. و درگیری ناظران می گویند این کافی نیست برای Facebook و YouTube به همه تصمیمات خود را. "آن را دوست دارم یا نه, مردم با استفاده از این سیستم عامل رسانه های اجتماعی به عنوان محل دائمی ثبت می گوید:" جنگل. "سایت های رسانه های اجتماعی نمی توانید انتخاب کنید چه چیزی را از ارزش و اهمیت است."

دریافت مختصر. ثبت نام برای دریافت داستان بالا شما نیاز به دانستن در حال حاضر.

لطفا یک آدرس ایمیل معتبر.

ثبت نام در حال حاضر

بررسی جعبه اگر شما نمی خواهید برای دریافت پیشنهادات از طریق ایمیل از زمان.

شما می توانید در هر زمان لغو عضویت. با ثبت نام شما موافقت به شرایط استفاده و سیاست حفظ حریم خصوصی

با تشکر از شما!

برای امنیت خود را به ما ارسال یک ایمیل تایید به آدرس شما وارد شده است. با کلیک بر روی لینک برای تایید اشتراک خود را و شروع به دریافت خبرنامه ما. اگر شما نمی توانید تایید در عرض 10 دقیقه لطفا پوشه اسپم خود را.

نوشتن به بیلی Perrigo در billy.perrigo@time.com.