VAST DataEngine

Вдохните жизнь в ваши данные

• VAST DataEngine воплощает данные в жизнь в машине, которая может непрерывно обрабатывать и обучаться на данных из окружающего мира.
• Больше никаких пакетных операций. Больше никаких изолированных хранилищ данных. Только непрерывные рекурсивные вычисления.

Поставляемый в 2024 году , VAST DataEngine переопределит парадигму вычислений данных , внедрив бессерверные функции и триггеры реального времени в платформу данных VAST . После объединения логики и состояния ... файлы , объекты и таблицы оживают от периферии до облака.

Новый рекурсивный вычислительный движок с поддержкой данных

• Обработка данных в реальном времени и глобальная аналитика данных в реальном времени

Новый формат набора данных ИИ и SDK

• Более простое управление данными и вычислительная линия

Глобальная вычислительная оркестровка

• Оптимизация для гравитации данных и/или вычисление гравитации

Платформы данных должны повысить

• В течение десятилетий хранилища данных не знали о приложениях, а приложения в равной степени не знали о событиях данных. Разделение между приложениями и данными привело к дробным решениям для построения конвейеров данных и менталитету пакетной обработки, который отделяет потоки данных от глубокого анализа данных.
• Платформа данных VAST призвана устранить компромисс между потоковой передачей данных и глобальным пониманием путем внедрения обработки данных и уведомлений о событиях непосредственно в систему.
• Поддерживая новые типы данных — функции и триггеры — платформа данных VAST делает данные динамичными, добавляя поддержку процедурных функций таким же образом, как JavaScript сделал веб-сайты динамически интерактивными.
• С VAST DataEngine – данные и изменения в данных, запускают действие, затем действие выполняется над данными, и система обрабатывает рекурсивно вечно. Data Engine является основой для постоянного обучения и вывода ИИ, и мы надеемся, что он станет основой для будущих открытий с использованием ИИ.

Программируемый вычислительный движок в программном обеспечении

• DataEngine — это контейнерная вычислительная среда, которую клиенты развертывают на своих ЦП, ГП и DPU — от периферии до облака. Встраивая логику непосредственно в платформу данных VAST, система может планировать события обработки в реальном времени, запускаемые действиями с данными.

Программируемая среда DataEngine

• DataEngine от VAST предоставляет программируемую среду на Python для разработчиков, чтобы они могли вносить свой собственный код. Также есть ряд встроенных функций, которые предоставляются с самого начала для получения ценности от VAST Data Platform.

К ним относятся:

• Индексация данных
• Индексация заголовка файла
• Обнаружение персональных данных
• Обнаружение программ-вымогателей
• Потоковая передача между таблицами/темами/файлами
• Дополнение данных

Инфраструктура потоковой передачи событий нового поколения

• VAST DataEngine представляет собой новый интерфейс потоковой передачи данных, предназначенный для записи событий непосредственно в VAST DataBase.  
• Впервые появилась возможность анализировать все данные путем загрузки потоковых данных в режиме реального времени в транзакционную и аналитическую базу данных VAST объемом в эксабайт.

Маршрутизатор событий в реальном времени

• Маршрутизатор событий VAST объединяет управление событиями неструктурированных и структурированных данных в единую платформу, предоставляя потребителям событий простые инструменты для запуска действий.

Платформа данных VAST предназначена для создания структуры и понимания неструктурированных данных.

• Благодаря сохранению триггеров и функций в виде состояния на платформе данных VAST ваш код становится динамически управляемым глобальным хранилищем данных, которое поддерживает  глобальное управление версиями кода ,  глобальное распределение кода  и  глобальные политики безопасности кода .

Простой Python SDK

• VAST DataEngine — это бессерверная платформа, написанная на Python, которая интегрирует функции с отслеживанием состояния в хранилище данных эксабайтного масштаба.
• Благодаря интеграции потоковой передачи и обработки данных с хранилищем данных и базой данных эксабайтного масштаба платформа данных обеспечивает комплексный вызов функций с минимальным объемом кода.

Новый набор данных ИИ
Представляем VAST DataSet

• Инженерия данных глубокого обучения — сложная задача. Инженеры по данным записывают большие файлы наборов данных в архивное хранилище для обучения… создавая ряд проблем, связанных с жестким управлением данными:
• Если для обучения модели требуется изменение данных, новые наборы данных записываются в хранилище, что часто приводит к созданию избыточных данных, поскольку наборы данных используют перекрывающиеся данные примеров обучения.
• Поскольку обычные наборы данных не содержат обучающий код, часто бывает сложно воспроизвести обучающие модели, поскольку данные и код продолжают развиваться независимо.

С DataEngine VAST представляет новую концепцию, называемую VAST DataSet. Этот новый подход к управлению данными использует базу данных VAST для создания материализованных представлений примеров данных без копирования и повторного копирования данных в грубые контейнеры данных. DataSets могут масштабироваться до эксабайт. Каждый DataSet включает индексированный набор примеров и код, используемый для обучения, чтобы было легко воспроизводить модели на лету.

Глобальная вычислительная оркестровка
Глобальная среда исполнения

• VAST DataEngine построен на основе контейнерной структуры, которая позволяет глобально выполнять службы в VAST DataSpace .