Нарастающий вал информации

Неуклонно растущие объемы данных, новые источники, порождающие невиданные ранее объемы (в первую очередь — сети Интернета вещей), всё большее использование искусственного интеллекта и машинного обучения для обработки и анализирования данных — вот лишь некоторые из факторов, вызвавших к жизни сам термин «большие данные» и ведущих к дальнейшему развитию технологий их обработки.

С учетом этих трендов был дан прогноз, что расходы на решения для больших данных и бизнес-аналитики в 2018 году составят 166 млрд долл., на 11,7% больше, чем год назад, и будут продолжать расти, демонстрируя среднегодовой темп роста (в сложных процентах, CAGR) 11,9%, достигнув 260 млрд долл. в 2022 году.

Этот рост подпитывают всё новые стартапы в сфере технологий Big Data, подталкивая и давних игроков рынка поддерживать высокие темпы разработки и обновления своих продуктов в этой области.

CRN/США выбрал десять самых заметных новых продуктов на арене Big Data, предложенных вендорами в прошлом году.

Streaming Ledger (Data Artisans)

Программное решение Streaming Ledger, предложенное компанией Data Artisans, дает возможность обрабатывать сериализуемые ACID-транзакции, использующие потоковые данные. До настоящего времени было трудно применять принципы ACID («атомарность, непротиворечивость, изолированность, долговечность»), гарантирующие целостность данных в распределенных транзакциях, для потоковой обработки данных. Компонент Streaming Ledger, включенный в River Edition платформы Data Artisans, делает возможными сериализуемые транзакции между несколькими таблицами и строками и потоками данных.

Magnitude Gateway (Magnitude Software)

Доступ к данным, разбросанным по множеству локаций, для текущей и аналитической обработки — одна из самых больших проблем в сфере больших данных.

Magnitude Gateway, разработанный компанией Magnitude Software, — это универсальная платформа, которая обеспечивает мгновенный доступ к операционным и аналитическим данным, где бы они ни находились. ПО обеспечивает поддержку почти 100 источников данных благодаря использованию универсальных драйверов, которые подключаются к реляционным базам данных, системам больших данных, SaaS-приложениям и базам данных NoSQL-типа.

Бизнес-пользователи получают доступ сразу к нескольким источникам данных, используя встроенные в Magnitude Gateway функции самообслуживания, а независимые поставщики ПО (ISV) могут использовать Magnitude Gateway для разработки своих решений бизнес-аналитики и интеграции источников данных, чтобы быстрее выйти на рынок, используя готовые функции доступа.

Periscope Data Engine

Компания Periscope Data, наблюдавшая быстрый рост продаж своей флагманской платформы аналитики, в ноябре выпустила Data Engine, который расширил ее портфель предложений с охватом технологий загрузки и обработки данных.

Сбор, преобразование и форматирование данных перед их использованием для целей бизнес-анализа представляет собой сложную задачу, отнимающую много времени. Компания заявляет, что ее новый Data Engine позволяет устранить самые трудные процессы ETL (извлечения, преобразования и загрузки), помогая быстрее осуществить загрузку данных в информационные системы и ускорить выполнение запросов для любых типов рабочих нагрузок независимо от параллелизма, объема данных или сложности запросов.

Компания отмечает, что ее новая технология — лишь первый этап создаваемой ею обширной системы интеграции хранилищ аналитики следующего поколения. Data Engine позволяет осуществлять ввод и обработку данных в облачных системах Snowflake Computing и AWS Redshift. В ближайшие месяцы компания планирует добавить ряд опций хранения и обработки в свою систему Data Engine.

Splunk Industrial Asset Intelligence (IAI)

В апреле компания Splunk, разработчик ПО обработки и анализа машинных данных, представила Industrial Asset Intelligence — свой первый продукт, специально предназначенный для сбора и анализа данных Интернета вещей.

Splunk IAI нацелен на применение в сфере промышленного IoT, включая производственную, транспортную и нефтегазовую отрасли, а также энергетику и коммунальное хозяйство.

Splunk IAI имеет целью «перебросить мостик» между эксплуатационной технологией и традиционными ИТ, включая бизнес-аналитику. Это ПО предоставляет средства для сбора, мониторинга и анализирования — в реальном времени — машинных данных IIoT, генерируемых промышленными контроллерами, датчиками и приложениями эксплуатационного обслуживания.

SQream DB v3.0

Компания SQream выпустила новый релиз своего хранилища и базы данных SQream DB с GPU-ускорителями, в котором удвоена скорость загрузки данных по сравнению с предыдущими версиями, а запросы выполняются в 15 раз быстрее. База данных SQream предназначена для обработки и анализирования громадных массивов данных размером в терабайты и даже петабайты.

Другие расширения в версии 3.0 включают динамическое управление рабочими нагрузками для приоритизации рабочих потоков ресурсов и высокооптимизированный коннектор Spark. Компания предлагает теперь свою базу данных в виде образа контейнера Docker для упрощения развертывания и обновления.

Tableau Prep

Недавние исследования показали, что профессиональные аналитики данных тратят до 80% своего времени на подготовку данных и лишь 20% на собственно анализ. Разработчик ПО аналитики Tableau Software стремится сократить время на подготовку данных, предлагая новый продукт Tableau Prep, который облегчит повседневные задачи объединения, формирования и очистки данных для последующего анализа.

Новый продукт, по-прежнему ориентированный на визуализацию данных, включает функционал, который автоматизирует сложные задачи подготовки данных, такие как объединение, сводки и агрегация. Tableau Prep предоставляет также интеллектуальные алгоритмы «нечеткой группировки», автоматизирующие повторяющиеся задачи, такие как группировка по произношению или очистка по пунктуации.

Tableau Prep интегрирован со всем рабочим процессом анализа данных Tableau и предлагается в рамках ее подписки Creator. Текущие пользователи Tableau Desktop могут использовать Tableau Prep бесплатно в течение двух лет.

Teradata Vantage

В октябре компания Teradata, один из самых авторитетных вендоров хранилищ данных и бизнес-аналитики, объявила о начале поставок своей платформы аналитики следующего поколения, Teradata Vantage.

Vantage представляет собой платформу «всеобъемлющего анализа данных» и включает Teradata SQL Engine, ядром которого служит Teradata Database, которая может обрабатывать ряд задач ретроспективной (descriptive), прогнозной и предписывающей аналитики, требующих интегрированных данных.

Vantage включает также механизм машинного обучения для разработки функций ML и процессора графов для обработки рабочих нагрузок графового анализа. Еще одним ключевым компонентом служит недавно представленная 4D Analytics, которая может обрабатывать данные местоположения, временные ряды и данные времени из сетей Интернета вещей.

TimescaleDB 1.0

TimescaleDB — это база данных временных рядов с открытым исходным кодом, способная обрабатывать громадные объемы машинно-генерируемых данных, осуществлять ввод миллионов точек данных в секунду, масштабироваться до десятков терабайт данных и таблиц с сотнями миллиардов строк, а также обрабатывать сложные запросы быстрее, чем другие базы данных того же типа.

В TimescaleDB встроена полная поддержка SQL, и она поставляется как расширение Postgres, что позволяет ей работать с инструментарием Postgres и другими элементами этой экосистемы. Более ранняя версия TimescaleDB, выпущенная в апреле 2017 года, превысила 1 миллион загрузок.

Yellowbrick Data

Стартап Yellowbrick Data, работавший в закрытом режиме с момента создания в 2014 году, вышел на рынок с устройством флеш-хранилища и аналитики данных, которое «на несколько порядков» меньше и производительнее, чем имеющиеся системы, заверяет компания.

Стартап разработал системную архитектуру, построенную на основе флеш-памяти и программного обеспечения, специально предназначенного для обработки запросов к такой памяти. В устройстве интегрированы ЦП, ресурсы хранения и управление сетью, а данные переносятся в процессор непосредственно из флеш-памяти. Благодаря модульной конструкции система может масштабироваться для обработки петабайтов данных путем добавления узлов аналитики.

Система включает в себя аналитическую базу данных, предназначенную для флеш-памяти, способна осуществлять ввод и обработку больших объемов данных и обрабатывать смешанные рабочие нагрузки оперативных запросов, больших пакетных запросов, отчетности, процессов ETL (извлечения, преобразования и загрузки) и вставок через ODBC.

Компания заявляет, что ее система работает в 140 раз быстрее, чем обычные хранилища данных при выполнении таких задач, как анализ в ритейле, рекламном бизнесе и финансовом трейдинге, анализ безопасности и обнаружение мошенничества, обработка электронных медицинских карт и др.

Yellowfin Signals и Stories

В октябре австралийская компания Yellowfin, разработчик ПО бизнес-анализа из Мельбурна, выпустила два новых аналитических продукта, Signals и Stories, которые помогают бизнес-пользователям быстрее обнаруживать, понимать и использовать деловые возможности.

Процессор аналитики Yellowfin Signals обеспечивает автоматический анализ данных, анализируя временные срезы текущих, непрерывно поступающих бизнес-данных, чтобы выявить в них важные изменения — внезапные скачки или перемены трендов. Непрерывное обнаружение трендов и аномалий во временном ряде помогает распознавать критичные перемены в реальном времени и понимать, чем они вызываются.

Компонент Yellowfin Stories предназначен помочь бизнес-пользователям лучше понимать аналитические результаты; он создает «истории данных», помещая информацию в контекст, чтобы быстрее принимать более обоснованные решения. Встраивая в них отчеты реального времени из нескольких дашбордов BI, Stories создает «описания», которые формируют единое, общее понимание внутри организации, улучшая обмен знаниями и коллективное взаимодействие.

Источник: Рик Уайтинг, CRN/США

Версия для печати (без изображений)   Все новости