17 октября 2023 года под номером № 19542 в Единый реестр российских программ для ЭВМ и баз данных включена платформа ITS DPP.
ITS DPP (ITS Data Processing Platform) — это платформа для анализа, хранения и обработки больших данных на базе ПО с открытым исходным кодом. Стек решения включает в себя: Apache Kafka, Apache Spark, Apache Airflow, Apache Hadoop, Greenplum, Apache Superset Redash, Prometheus.
Она будет полезна, если необходимо:
Построить систему хранения, обработки и анализа данных с нуля.
Быстро развернуть инфраструктуру для хранения и анализа данных.
Создать витрины данных, организовать процессы обработки данных, реорганизовать хранение данных.
Оптимизировать структуру, снизить издержки и избежать при этом ресурсных потерь.
С её помощью дата-инженеры смогут:
Создать Data Lake или Data Warehouse для хранения структурированных и неструктурированных данных.
Организовать сбор данных из разнородных источников в единое хранилище
Настроить ETL/ELT преобразования.
Организовать проверку качества данных.
Настроить потоковую и пакетную обработку данных.
Организовать контроль и доставку кода для обработчиков данных.
Настроить дашборды с разными уровнями доступа для различных подразделений.
Решение построено по модульному принципу. Модули отвечают за отдельные задачи, такие как сбор, обработка, хранение и преобразование данных. В полной комплектации ITS DPP может обрабатывать данные пакетным или потоковым методом, хранить необработанные, структурированные и неструктурированные данные различного объема, формировать витрины данных. Вместе с платформой поставляется модуль управления и мониторинга отдельных компонентов.
Платформа и отдельные модули продаются как лицензия на срок 1 или 3 года. Техническую поддержку можно приобрести на 1 или 3 года. Лицензия и техническая поддержка приобретаются на каждое физическое ядро сервера или виртуальной машины, на которых развернута платформа или модуль.
Для развертывания в высокодоступной редакции необходимо от 9 серверов суммарно с 80 ядрами CPU, 396 Гб оперативной памяти и достаточным объемом хранилища данных.
Задать дополнительные вопросы и подробнее почитать о платформе можно на нашем сайте.
Источник новости: habr.com
