فیسبوک
فیسبوک امروز با انتشار مقاله‌ای جدید در مورد روش شخصی خود برای کاهش زمان آموزش مدل‌های یادگیری عمیق، توانسته است زمان آموزش مدل ResNet-50 را روی مجموعه داده ImageNet از 29 ساعت به یک ساعت کاهش دهد. این شرکت برای رسیدن به این نتیجه، از باتچ‌های بزرگتر و تعداد بیشتری GPU استفاده کرده است. در روش بنچ مارک قبلی، باتچ‌های 256 تصویری روی 8 کارت گرافیکی توزیع می‌شدند. اما در روش جدید، باتچ‌های 8192 تصویری روی 256 کارت گرافیکی توزیع می‌شوند. اگرچه اغلب افراد 256 کارت گرافیکی در اختیار ندارند، اما شرکت‌های بزرگ و گروه‌های تحقیقاتی با بودجه بالا این امکان را دارند. توانایی مقیاس‌پذیری آموزش بر روی این تعداد GPU بدون کاهش چشمگیر دقت، یک اکتشاف بزرگ است. تیم فیسبوک برای غلبه بر برخی از چالش‌های استفاده از باتچ‌های بزرگ که در گذشته موجب عدم کارایی می‌شدند، در مراحل اولیه فرآیند آموزش، نرخ یادگیری را کاهش دادند. بدون ورود به جزئیات فنی، می‌توان گفت که روش ساده‌ترین کاهش گرانش تصادفی (SGD) برای آموزش مدل ResNet-50 استفاده می‌شود. یکی از متغیرهای کلیدی در SGD نرخ یادگیری است، که میزان تغییر وزن‌ها در فرآیند آموزش را نشان می‌دهد. نحوه تغییر این متغیر با تغییر اندازه باتچ کلید بهینه‌سازی موثر است.
توسعه‌دهندگان یادگیری ماشین هر روز با مصالحه روبرو هستند. دقت بالاتر اغلب نیازمند مجموعه داده‌های بزرگتری است که به زمان آموزش و منابع محاسباتی اضافی نیاز دارد. با در نظر گرفتن این موضوع، می‌توان دقت یا سرعت را برای کسب نتایج چشمگیرتر اولویت‌بندی کرد، اما آموزش یک مدل با دقت ضعیف در 20 ثانیه ارزش زیادی ندارد. برخلاف اکثر پروژه‌های تحقیقاتی، تیم‌های تحقیقاتی هوش مصنوعی (FAIR) و یادگیری ماشین کاربردی (AML) فیسبوک به صورت مشترک در زمینه افزایش اندازه باتچ کار کردند. این گروه‌ها در آینده برنامه دارند برخی از سوالات جدید که در نتایج امروز مطرح شده است را بررسی کنند. پیتر نوردهاوس، عضو تیم AML فیسبوک، گفت: “این کار سوالات بیشتری از آنچه پاسخ می‌دهد، مطرح می‌کند. یک نقطه عطف وجود دارد که با عبور از 8000 تصویر، نرخ خطا باز هم افزایش می‌یابد و ما نمی‌دانیم چرا”. فیسبوک برای این آزمایش از Caffe2، چارچوب یادگیری عمیق اوپن سورس خود، و سرورهای GPU Big Basin خود استفاده کرد. در صورت علاقه به اطلاعات بیشتر در مورد جزئیات، می‌توانید اطلاعات اضافی را از فیسبوک دریافت کنید.
