Databricks упрощает науку о данных с помощью Serverless Spark и конвейеров глубокого обучения
Databricks, компания, стоящая за популярным проектом Apache Spark с открытым исходным кодом, объявила о наборе новых инструментов и услуг, разработанных для упрощения процесса работы с данными для разработчиков. Эти новые функции, представленные на саммите Spark, демонстрируют приверженность Databricks улучшению опыта разработчиков и повышению доступности манипулирования данными.
Бессерверный Spark: Эта платформа устраняет необходимость для разработчиков управлять кластерами, позволяя им сосредоточиться на своих задачах работы с данными. Али Годси, генеральный директор Databricks, пояснил, что бессерверный подход представляет собой особую проблему для приложений работы с данными из-за их состоятельного характера, но компании удалось преодолеть эти трудности.
Конвейеры глубокого обучения: Эта библиотека с открытым исходным кодом создает мост между фреймворками глубокого обучения, такими как TensorFlow, и Apache Spark. Она позволяет разработчикам легко интегрировать модели глубокого обучения с Spark, обеспечивая распределенные вычисления и оптимизированные рабочие процессы.
Структурное потоковое вещание: Databricks также выпустила общедоступную версию своего API структурного потокового вещания, которое облегчает обработку последовательных потоков данных. Компания подчеркнула, что минимизация задержки была главным приоритетом при разработке структурного потокового вещания, что привело к экономии и повышению скорости для пользователей, занимающихся такими задачами, как обнаружение аномалий.
Эти объявления укрепляют позицию Databricks как лидера в области работы с данными, предоставляя разработчикам мощные инструменты для управления данными, создания интеллектуальных моделей и оптимизации рабочих процессов.
