背景华为云防火墙日志已从“日志管理”处配置转出到日志中心服务LTS现需要配置使日志从LTS转到kafka上以做进一步转出分析如转到grafana展示或态势感知进一步分析。一、在 LTS 创建到“自定义 Kafka”的转储任务1.创建kafka转储2.创建完转储任务后过几分钟在 LTS 控制台查看任务状态是否为“正常”。3.修改config/server.properties①修改下图中的最下面一行为listenersPLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093②修改下面这行为advertised.listenersPLAINTEXT://10.XX.XX.XX:9092,CONTROLLER://127.0.0.1:9093修改完成后重启 Kafkasystemctl restart kafka或cd /opt/kafkabin/kafka-server-stop.shbin/kafka-server-start.sh config/server.properties二、在Kafka上消费1.在Kafka上执行消费命令看能否能消费到消息cd /opt/ kafka_2.13-4.3.0/bin./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic CFW_ops --from-beginning如果提示如下则证明还在监听但是没有消息可消费如果topic能消费到消息则消费正常效果如下编辑2.如果1中无消息消费可以查看topic有没有消息bin/kafka-run-class.sh org.apache.kafka.tools.GetOffsetShell --bootstrap-server localhost:9092 --topic CFW_ops --time -1如没有消息即偏移为0具体如下编辑可执行如下命令抓包看是否有数据发过来tcpdump –ni any net 10.xx.xx.xx/24LTS管理IP通常是多个可以写IP段正常有数据过来的如下三、注意事项1.放通LTS源IP后如果发现网络还不通记得在云防火墙和安全组把kafka的EIP也放通kafka本机防火墙关闭2.topic不要带“-”否则LTS会解析错误消息进入不了topic3.如果确认kafka没问题则可能是华为LTS服务器需要重启下服务试试。
