Новости

Дистрибутив Confluent s Kafka добавляет возможности разработки, управления и гибридного облака

Confluent Platform 5.2, анонсированная на Kafka Summit в Нью-Йорке, добавляет бесплатную лицензию для кластеров Kafka с одним брокером, функцию контроля четности для не-Java SDK, улучшения Confluent Control Center и возможности гибридного облака для Confluent Replicator.

Эндрю Бруст для Big on Data | 2 апреля 2019. 13:00 GMT (06:00 PDT) | Тема: Аналитика больших данных

На сегодняшнем мероприятии Kafka Summit в Нью-Йорке компания Confluent, основанная создателями Apache Kafka, представит новую версию своего дистрибутива: Confluent Platform 5.2. Новая версия предлагает множество функций для разработчиков, администраторов и любых клиентов, которые хотят обрабатывать потоковую обработку данных в облачной и локальной инфраструктуре.

Смотрите так же

Twitter скоро представит возможность скрыть ответ... Сан-Франциско. Чтобы дать пользователям больше возможностей контролировать ненужные разговоры на своих ручках, сайт микроблоггинга Twitter создает функцию «скрыть ответ». «Люди, которые начинают интересные разговоры в Твиттере, очень важны для нас, и мы хотим дать им возможность сделать разговоры, которые они начинают (остаются), максимально здоро...

Редактор схемы Confluent Control Center, новый в Confluent Platform 5.2

центр управления-схема-editing.png

Дистрибутив Confluent s Kafka добавляет возможности разработки, управления и гибридного облака

Многочисленные вкусы Кафки

Нет никаких сомнений в том, что Apache Kafka стал стандартом де-факто в мире потоковой обработки данных. Но тот факт, что это стандарт, а основная технология с открытым исходным кодом, делает вещи интересными для Confluent. В конце концов, люди могут использовать биты с открытым исходным кодом Kafka или использовать версию, включенную в их дистрибутивы Hadoop / Spark от таких поставщиков, как Cloudera. MapR имеет свой собственный API-совместимый компонент Kafka, который называется MapR Event Store для Apache Kafka. В облаке (помимо самого Confluent Cloud) есть публичный предварительный просмотр совместимости Amazon Managed Streaming для Kafka (MSK) и API Kafka в службе Microsoft Azure Event Hubs.

С учетом всех этих опций Kafka, ясно, что Confluent нужно добавить большую ценность, если он собирается убедить клиентов пойти с его продуктом. А с Confluent Platform 5.2 компания хорошо себя зарекомендовала. Да, релиз основан на Kafka 2.2, биты с открытым исходным кодом для которого были выпущены чуть более недели назад, 22 марта. Но Конфлюент вкладывает намного больше в коробку.

Язык программирования утопия

Начнем с того, что Confluent включает в себя версию 1.0 клиентской библиотеки librdkafka, которая обеспечивает поддержку C / C , и в настоящее время практически идентична с клиентом Java. Более того, поскольку клиенты Confluent для Python, Go и.NET (C #) основаны на librdkafka, эти клиенты получают одинаковое повышение четности. А поскольку.NET SDK создан для.NET Core, он позволит разработчикам.NET писать приложения Kafka для Linux и MacOS, а также для Windows.

Смотрите так же

Twitter скоро представит возможность скрыть ответ... Сан-Франциско. Чтобы дать пользователям больше возможностей контролировать ненужные разговоры на своих ручках, сайт микроблоггинга Twitter создает функцию «скрыть ответ». «Люди, которые начинают интересные разговоры в Твиттере, очень важны для нас, и мы хотим дать им возможность сделать разговоры, которые они начинают (остаются), максимально здоро...

Между тем, в поддержку разработчиков на всех платформах, KSQL, SQL-подобный язык запросов для Kafka, был значительно улучшен благодаря поддержке CASE, BETWEEN, GROUP BY и других команд и ключевых слов SQL. В качестве бонуса, Confluent Control Center, основанный на браузере инструмент управления инфраструктурой Kafka, улучшил графический интерфейс KSQL для запросов и добавил возможность создавать, редактировать и проверять схемы (как показано на скриншоте в верхней части этого поста). , а также внести изменения в политику совместимости.

Лучшая управляемость, щедрое лицензирование для разработчиков

Говоря о Центре управления, теперь он позволяет настраивать «брокеров» Kafka, а не просто контролировать тех, которые создаются в командной строке. И теперь Центр управления может масштабировать до 120000 реплик разделов (то есть, как правило, 40000 разделов), что, по словам Конфлуента, должно быть достаточным для обработки большинства высокопроизводительных корпоративных реализаций.

Что еще лучше для разработчиков, так это то, что для параметров, где достаточно кластера Kafka с одним брокером, таких как среды разработки и тестирования, Confluent теперь предлагает бесплатную лицензию разработчика для своей полной платформы. Это означает, что даже дополнительные функции (включая коннекторы Confluent, Control Center и Replicator), которые недоступны в Kafka с открытым исходным кодом или через Confluent Community License, могут быть бесплатными в непроизводственной среде.

Еще кое-что

Наконец, для реализаций Kafka, которые требуют обработки потоковых данных в гибридных средах (например, локальная и общедоступная облачная среда), Confluent Replicator теперь отвечает требованию и позволяет схемам мигрировать в разных средах.

В Confluent Platform есть нечто большее, чем то, что я рассмотрел здесь. У компании есть все детали в сообщении в блоге, которое должно быть доступно, когда эта статья выходит в эфир.

Смотрите так же

Twitter скоро представит возможность скрыть ответ... Сан-Франциско. Чтобы дать пользователям больше возможностей контролировать ненужные разговоры на своих ручках, сайт микроблоггинга Twitter создает функцию «скрыть ответ». «Люди, которые начинают интересные разговоры в Твиттере, очень важны для нас, и мы хотим дать им возможность сделать разговоры, которые они начинают (остаются), максимально здоро...