Intro
主要 API
- Producer API: 推送資料角色使用
- Consumer API: 拉取資料角色使用。實作上是各語言透過 SDK 反覆呼叫 consume 請求，consumer 會向 broker request messages。
- Connect API: 一般指 Kafka Connect 中的外部 Storage connector plugin 使用。
- Admin API: Kafka admin 角色使用。可以設定 Topic, partition 等。
Kafka Connect & Connector
Kafka Connect 為獨立 component，通常與 Kafka broker 分開搭建 cluster。Kafka Connect 可以安裝不同的外部 Storage connector plugin 來做設定連接，設定檔也包含對哪個 topic 做 pull/push，透過啟動對應的 Kafka Connect worker 來執行。
例如搭建 Kafka Connect，安裝設定 S3 connector plugin 並啟動 Connect worker 來連結到 Kafka broker 處理部分 Topic 資料，若同時設有 pull/push 則架構如： S3 -> Kafka Connect -> Kafka -> Kafka Connect -> S3。
