База данных VAST

Изменение ситуации в базах данных

• Встречайте революционную базу данных VAST. Продолжение наших первопринципных размышлений. Это база данных? Это хранилище данных? Это озеро данных? Да. Позвольте нам объяснить…

VAST DataBase сломала фундаментальные компромиссы баз данных , объединив транзакционную производительность базы данных и производительность запросов хранилища данных с масштабированием до экзабайта за счет озера данных .​ 

Нарушение компромиссов между транзакциями и запросами

• Системы VAST используют глубокие буферы записи, созданные на основе недорогой постоянной памяти, что позволяет мгновенно сохранять каждую транзакцию ACID.
• По мере заполнения таблиц они переносятся на недорогую гипермасштабируемую флэш-память и сохраняются в столбчатом формате, благодаря чему запросы также выполняются мгновенно.
• Запросы проходят как через долгосрочное хранилище данных, так и через буфер записи, и хотя данные, к которым осуществляется доступ в буфере, построчные, базовые структуры постоянной памяти обеспечивают молниеносное чтение любых строк.

Столбчатый формат данных, который отлично работает на Flash

• Хотя Parquet может быть ведущим форматом файлов науки о данных, используемым сегодня, системы, которые используют Parquet, неэффективно используют инфраструктуру колоночного хранилища. Размер фрагмента VAST DataBase составляет 32 КБ, что в 16 000 раз меньше, чем средняя группа строк Parquet. Приняв идею озера данных на основе флэш-памяти, мы добились невероятных уровней фильтрации запросов и сокращения количества записей, которые просеивают механизмы запросов. При размере 32 КБ полезная нагрузка столбцов VAST DataBase также проста в обновлении. Теперь клиенты могут немедленно обновлять таблицы для всего, от запросов GDPR до обеспечения соблюдения политик хранения, без головной боли, связанной с очисткой устаревших баз данных. Все просто… быстро.

 
База данных VAST отлично подходит для поиска иголок в стогах сена

• Давайте найдем поездки, в которых плата за проезд превышает 100 долларов, в наборе данных такси Нью-Йорка. При одинаковом количестве строк в обоих тестах S3 потребовалось 8,11 секунды, что потребовало от Trino обработки 28 миллионов строк, в то время как VAST DataBase потребовалось 2,27 секунды, что потребовало от Trino обработки только 2 строк.

Варианты использования
Специально создано для всех ваших данных.

Рекомендация по содержанию

• Обеспечивая возможность выполнения запросов в режиме реального времени вплоть до архива, база данных VAST позволяет производителям контента, сайтам электронной коммерции и социальным сетям запрашивать профили интересов пользователей, а также обучать новые модели машинного обучения в режиме реального времени.

Аналитика мошенничества с платежами

• VAST DataBase преобразует аналитику мошенничества, объединяя транзакционную производительность базы данных с масштабируемой производительностью запросов озера данных. Разрушая компромиссы между базой данных и хранилищем данных, VAST DataBase позволяет поставщикам платежей анализировать и обнаруживать мошенничество в режиме реального времени.

Целевая реклама

• База данных VAST используется ведущими рекламодателями и рекламными сетями для разработки более целевых методов рекламы путем сопоставления и корреляции поведения пользователей. Алгоритмы эффективности VAST создают озера данных на флэш-памяти с архивной экономикой, идеально подходящие для оптимизации P&L рекламной сети.

Внутренняя безопасность

• VAST DataBase обеспечивает возможность выполнения мелкозернистых запросов вплоть до архива. Платформа идеально подходит для государственных учреждений, которые изо всех сил пытаются найти иголки в стогах сена... теперь эти иголки можно найти в режиме реального времени в масштабе эксабайт.

Линейно масштабируйте согласованные службы баз данных на тысячах процессоров.

• Новая архитектура VAST Disaggregated and Shared-Everything разработана для преодоления обычных ограничений масштабирования распределенных систем. Мы называем ее DASE.
• В кластерах DASE машины, которые запускают логику базы данных, не имеют состояния и были отделены от флэш-памяти, которая сшита вместе на низкозадерживаемой фабрике центра обработки данных. Мы изобрели новую структуру данных с общим доступом, которая позволяет каждому ЦП записывать в пространство имен без необходимости координации с любым другим ЦП.
• Параллелизм архитектуры DASE позволяет создавать системы, способные обрабатывать миллионы записей в секунду и выполнять запросы из масштабируемого до эксабайт объема флэш-памяти с практически бесконечной производительностью запросов.

Революционный подход к сжатию баз данных.

• Почти невозможно найти правильный баланс между размером файла при работе с открытыми форматами, такими как Parquet и ORC. Большие файлы оказывают меньшее влияние на  метахранилища и  обычно лучше сжимаются, но они также заставляют механизмы запросов просеивать больше записей и распаковывать больше данных, чем когда-либо требовалось для запроса. VAST DataBase использует подход следующего поколения VAST к сокращению данных, который сжимает столбчатые фрагменты глобально друг относительно друга. Этот глобальный подход к сжатию называется сокращением данных на основе сходства — и устраняет трудности с инженерией данных, связанные с определением размера файлов в вашем озере данных. Каждый столбчатый фрагмент добавляется в глобальный кластер сжатия, что обеспечивает большую экономию, чем когда-либо было возможно при подходах с одним файлом, таких как Snappy. Сходство настолько мощно, что способно находить сокращение на предварительно сокращенных и даже зашифрованных данных. Мы гарантируем, что вы никогда не найдете более эффективного подхода к поиску экономии.

Импортеры и интерфейсы запросов

• База данных VAST поддерживает стандарты открытых данных
• База данных VAST уникальным образом объединяет пространство имен масштаба эксабайт для естественных типов данных, таких как изображения, видео, LIDAR, геномы и другие богатые источники данных реального мира, а также табличную базу данных для хранения каталога расширяющихся метаданных об объектах, генерируемых по мере прохождения данных через конвейер глубокого обучения.

Первая синтезированная платформа структурированных и неструктурированных данных

• Подобно тому, как современные приложения искусственного интеллекта создают структуру из неструктурированных данных, платформа данных VAST была разработана для поддержки всех ваших приложений по работе со структурированными и неструктурированными данными.
• Multi-Protocol DataStore от VAST был представлен в 2019 году как первая в мире система хранения файлов и объектов, которая объединила производительность all-flash с экономичностью архива. Эта система представляет собой многопротокольную систему управления данными, которая обслуживает данные из любого представления (NFS, SMB и S3).
• Благодаря базе данных VAST неструктурированные данные становятся чем-то большим, чем просто каталогом данных — транзакционные и аналитические возможности базы данных закладывают основу для семантического уровня систем обучения и вывода ИИ.

Модель потребления
Продается как программное обеспечение, поставляется и поддерживается как устройство.

• Знакомьтесь с Gemini — бизнесом хранения, дезагрегированным. С Gemini клиенты приобретают управляемое программное обеспечение на оборудовании, которое теперь можно купить напрямую у наших производителей по себестоимости. Gemini предоставляет клиентам большую коммерческую гибкость и новые способы экономии на решениях для хранения программного обеспечения — и все это при обеспечении непревзойденных уровней простоты масштабируемого развертывания.
• Локальные устройства VAST разработаны для поиска оптимального баланса производительности и емкости. Мы сотрудничаем с ведущими производителями корпоративных технологий для определения отказоустойчивого, масштабируемого и эффективного оборудования. Наша масштабируемая архитектура кластера позволяет смешивать и сопоставлять поколения флэш- и хранилищной вычислительной инфраструктуры.