劍道第一仙

以下是一個簡單的Java程序示例，用于從Kafka消費數據并將數據批量插入到ClickHouse數據庫。在這個示例中，我們使用了Kafka的消費者API來消費數據，然后使用ClickHouse的Java JDBC驅動來插入數據。在插入數據之前，我們使用一個HashSet來檢查數據是否已經存在，以避免重復插入。


public class KafkaClickHouseConsumer {
    private static final String KAFKA_BROKER_LIST = "localhost:9092";
    private static final String KAFKA_TOPIC = "test_topic";
    private static final String CLICKHOUSE_HOST = "localhost";
    private static final String CLICKHOUSE_PORT = "9000";
    private static final String CLICKHOUSE_DATABASE = "default";
    private static final String CLICKHOUSE_TABLE = "test_table";
    private static final String CLICKHOUSE_USERNAME = "default";
    private static final String CLICKHOUSE_PASSWORD = "default";

    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", KAFKA_BROKER_LIST);
        props.put("group.id", "clickhouse-consumer");
        props.put("enable.auto.commit", "true");
        props.put("auto.commit.interval.ms", "1000");
        props.put("key.deserializer", StringDeserializer.class.getName());
        props.put("value.deserializer", StringDeserializer.class.getName());

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList(KAFKA_TOPIC));

        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
                for (ConsumerRecord<String, String> record : records) {
                    String data = record.value();
                    insertToClickHouse(data);
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            consumer.close();
        }
    }

    private static void insertToClickHouse(String data) {
        try (Connection conn = DriverManager.getConnection(
                String.format("jdbc:clickhouse://%s:%s/%s", CLICKHOUSE_HOST, CLICKHOUSE_PORT, CLICKHOUSE_DATABASE),
                CLICKHOUSE_USERNAME, CLICKHOUSE_PASSWORD);
             PreparedStatement pstmt = conn.prepareStatement("INSERT INTO " + CLICKHOUSE_TABLE + " (data) VALUES (?)")) {

            pstmt.setString(1, data);
            pstmt.executeUpdate();
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }
}
注意：你需要在你的項目中添加ClickHouse的Java JDBC驅動依賴。如果你使用的是Maven，你可以在pom.xml文件中添加以下依賴：

xml
Copy code
<dependency>
    <groupId>ru.yandex.clickhouse</groupId>
    <artifactId>clickhouse-jdbc</artifactId>
    <version>0.2.6</version>
</dependency>

在上述Java程序示例中，我們使用了一個HashSet來檢查數據是否已經存在，避免重復插入。在insertToClickHouse方法中，我們首先檢查數據是否已經在HashSet中，如果已經在，我們就跳過插入操作。否則，我們就將數據插入到ClickHouse數據庫中。
以下是如何使用HashSet來檢查數據是否已經存在的示例代碼：

java
Copy code
private static void insertToClickHouse(String data) {
    if (dataSet.contains(data)) {
        return;
    }
    try (Connection conn = DriverManager.getConnection(
            String.format("jdbc:clickhouse://%s:%s/%s", CLICKHOUSE_HOST, CLICKHOUSE_PORT, CLICKHOUSE_DATABASE),
            CLICKHOUSE_USERNAME, CLICKHOUSE_PASSWORD);
         PreparedStatement pstmt = conn.prepareStatement("INSERT INTO " + CLICKHOUSE_TABLE + " (data) VALUES (?)")) {

        pstmt.setString(1, data);
        pstmt.executeUpdate();
        dataSet.add(data);
    } catch (SQLException e) {
        e.printStackTrace();
    }
}
在這個示例中，我們首先檢查數據是否已經在dataSet中，如果已經在，我們就直接返回，不執行插入操作。否則，我們就將數據插入到ClickHouse數據庫中，并將數據添加到dataSet中。這樣，下次我們再次嘗試插入相同的數據時，就會跳過插入操作，因為數據已經在HashSet中了。