Помимо пакетной обработки: как ERP работает быстрее благодаря потоковой передаче данных

Данные перемещаются. Все данные в какой-то момент своей жизни были перемещены или перемещены в то или иное место. Будь то из базы данных в приложение, из какого-либо облачного репозитория в устройство IoT или просто между внутренними службами внутри операционной системы или связанными с ней точками подключения, данные практически всегда находятся в движении.

Даже когда данные находятся в долговременном хранилище, они, как правило, на том или ином этапе обрабатываются с помощью какого-либо транспортного механизма. Эти основные истины означают, что мы часто сосредотачиваемся на частоте данных и изучаем их способность своевременно доставляться туда, где они должны быть.

Если мы вспомним времена, предшествовавшие тысячелетию, службам передачи данных и пользователям, которые от них зависели, часто приходилось приспосабливаться к «ночным сборкам», если они хотели, чтобы их магистраль данных предоставляла им самую свежую информацию. Это была (и фактически до сих пор остается) эпоха пакетной обработки, которую также иногда называют автоматизацией рабочей нагрузки или планированием заданий.

По данным компании, занимающейся интеграцией данных и корпоративной облачной платформойТибкоПакетная обработка — это экономичный способ обработки огромных объемов данных за небольшой промежуток времени.

«Хорошим примером пакетной обработки является то, как компании-эмитенты кредитных карт выставляют свои счета. Когда клиенты получают счета по своей кредитной карте, это не отдельный счет за каждую транзакцию; скорее, за весь месяц выставляется один счет. Этот счет создается с использованием пакетной обработки. Вся информация собирается в течение месяца, но обрабатывается в определенный день, причем вся сразу», — отмечает Тибко в техническом брифинге.

За пределами пакетной обработки в режиме реального времени

Но сейчас мир движется быстрее, чем партия; мы все работаем в постоянном мире, где смартфоны должны предоставлять своевременные услуги за считанные секунды, а корпоративные приложения должны предоставлять нам постоянно интегрированные услуги и возможности подключения. Наступил век данных в реальном времени.

Ключевой среди передовых технологий в этой области являетсяАпач Кафка. Зародившись в 2011 году, эта технология возникла в результате внутреннего проекта по созданию очереди сообщений, управляемого инженерами-программистами, работающими вLinkedIn.Начиная с «базовой» очереди сообщений, платформа потоковой передачи данных Apache Kafka теперь способна обрабатывать более миллиона сообщений в секунду, что соответствует нескольким триллионам сообщений в день.

Эта технология выходит за рамки Kafka – Джей Крепс, Confluent

Хотя чистый Apache Kafka остается открытым исходным кодом, а обязанности по оперативному управлению остаются в руках пользователя,сливающийся предоставляет полностью управляемую облачную службу обработки и анализа потоков. Это технология, которая, по словам соучредителя и генерального директора Confluent Джей Крепса, «выходит за рамки Kafka» для современных сценариев использования приложений реального времени, обеспечивая то, что он называет принятием решений в реальном времени, или, по крайней мере, цифровую итерацию такого процесса. .

Что такое потоковая передача данных?

Возвращаясь на минутку к школе разработки программного обеспечения, мы можем определить потоковую передачу данных как принцип вычислений. Он обозначает подход, который контролирует упорядоченную по времени последовательность прохождения данных через приложение, компонент или службу. Службы потоковой передачи данных, обычно ориентированные на записи данных нижнего уровня, происходящие внутри любой конкретной ИТ-системы, содержат файлы журналов, которые относятся ко всему: от одного нажатия клавиатуры до показаний датчиков промышленных машин.

Какими бы детализированными и миниатюрными ни были эти записи, после их объединения они помогают нарисовать богато наглядную картину того, что именно происходит внутри ИТ-развертывания. Эта реальность логически подводит нас к ERP, т.е. аналитика потоков данных может предоставить нам точное представление о том, что происходит внутри корпоративного программного приложения или функции. Так как же нам применить эту силу?

«Здесь я говорю очевидное, но данные — это то, что помогает любой организации идти по правильному пути, поэтому доступ в реальном времени, который обещает потоковая передача данных, логически следует рассматривать как огромный актив», — говорит Крис Гортон, старший вице-президент по северному региону EMEA, Юг и развивающиеся рынки в компании, занимающейся платформой управления данными