kafaka+Filebeat+clickhouse日志到本地存储查询

@Ja-script

安装kafaka

装一下java11,我习惯装aws的corretto
版本3.4.1,no zookeeper

wget https://downloads.apache.org/kafka/3.4.1/kafka_2.13-3.4.1.tgz
# 官网下载慢可以去阿里下,很快
wget http://mirrors.aliyun.com/apache/kafka/3.4.1/kafka_2.13-3.4.1.tgz?spm=a2c6h.25603864.0.0.40943270kPi33z

解压到kafka_2.13-3.4.1
建议改一下 config/kraft/server.properties 的log.dirs,默认在/tmp/

cd kafka_2.13-3.4.1
./bin/kafka-storage.sh random-uuid
# P3Jr59YRTOmYrB8q7Hrdgw 
./bin/kafka-storage.sh format -t P3Jr59YRTOmYrB8q7Hrdgw -c ./config/kraft/server.properties
# 如果内在小于2G的话,需要改一下kafka-server-start.sh里的xms,xmx
./bin/kafka-server-start.sh ./config/kraft/server.properties

没啥大问题的话就启起来了
推荐一个简单的ui https://github.com/xxd763795151/kafka-console-ui,测试给128内在能跑起来

clickhouse VS loki

查看很多资料,两个分开来说一说
loki:
- Cpu/Mem 资源占用少
- 日志压缩存储
- 界面是grafana
clickhouse:
- Cpu/Mem 资源占用相对较多,一般都是集群部署,需要重量级组件zookeeper
- 支持压缩存储,可配置
就我目前情况来看clickhouse更合适一点,他是一个数据库,支持聚合之类查询,偶尔我想从日志里查到某个接口在某段时间的访问量,可以直接跑行sql,loki不确定行

clickhouse配置

我直接从阿里拉了个clickhouse,首月9块,回头再来配本地

Filebeat

go写的资源占用少,支持js脚本处理原始数据
安装

mkdir filebeat
cd filebeat
#下载速度慢,80k/s,下了10分钟
#wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.0.0-linux-x86_64.tar.gz
# 改为华为镜像7.3.2版本
wget https://mirrors.huaweicloud.com/filebeat/7.3.2/filebeat-7.3.2-linux-x86_64.tar.gz
tar -zxvf filebeat-7.3.2-linux-x86_64.tar.gz 
cd filebeat-7.3.2-linux-x86_64/

配置

code

Recently Posts: