Библиотека Facebook fastText теперь оптимизирована для мобильных устройств
Исследовательская лаборатория искусственного интеллекта Facebook (FAIR) выпустила обновление для fastText, своей библиотеки классификации текста с открытым исходным кодом. Первоначально fastText поставлялся с предварительно обученными векторами слов для 90 языков. Это обновление расширяет это до 294 языков. Обновление также включает в себя улучшения для уменьшения размера модели и требований к памяти.
Классификаторы текста, такие как fastText, являются ключевыми инструментами для разработчиков, создающих приложения, которые полагаются на анализ языка. Это включает в себя такие задачи, как пометка заголовков кликбейта или фильтрация спама. Хотя изначально он был разработан для использования на различных аппаратных средствах, fastText требовал значительного объема памяти, что делало его непрактичным для мобильных устройств.
Благодаря сотрудничеству с командой, стоящей за другим проектом Facebook с открытым исходным кодом, поиском сходства (FAISS), требования к памяти были значительно сокращены до нескольких сотен килобайт. Это было достигнуто за счет использования различных методов, таких как обрезка признаков, квантование, хеширование и повторное обучение. Подход команды FAISS эффективно решил узкое место, связанное с обработкой огромного количества данных, оптимизируя сравнение многомерных векторов. Эта оптимизация напрямую повлияла на снижение требований к памяти для fastText.
Авторы статьи, опубликованной в декабре 2016 года под названием «fastText.zip: сжатие моделей классификации текста», подчеркивают возможность создания моделей классификации текста размером всего 100 кБ без ущерба для точности или скорости. Они также предполагают, что в будущем может быть возможным дальнейшее сокращение размера модели, признавая трудности в балансировании размера модели и точности.
