文章目录
- 1.重设kafka消费者位移
- 2.示例
- 2.1 通过 offset 位置
- 2.2 通过时间
- 2.3 设置到最早
1.重设kafka消费者位移
| 维度 | 策略 | 含义 |
|---|---|---|
| 位移 | Earliest | 把位移调整到当前最早位移处 |
| 位移 | Latest | 把位移调整到当前最新位移处 |
| 位移 | Current | 把位移调整到当前最新提交位移处 |
| 位移 | Specified-Offset | 把位移调整成指定位移 |
| 位移 | Shift-By-N | 把位移调整到当前位移 +N 处（N可以是负值） |
| 时间 | DateTime | 把位移调整到大于给定时间的最小位移处 |
| 时间 | Duration | 把位移调整到距离当前时间指定时间间隔位移处 |
Earliest 策略直接指定 --to-earliest。
bin/kafka-consumer-groups.sh --bootstrap-server kafka-host:port --group test-group --reset-offsets --all-topics --to-earliest –execute
Latest 策略直接指定 --to-latest。
bin/kafka-consumer-groups.sh --bootstrap-server kafka-host:port --group test-group --reset-offsets --all-topics --to-latest --execute
Current 策略直接指定 --to-current。
bin/kafka-consumer-groups.sh --bootstrap-server kafka-host:port --group test-group --reset-offsets --all-topics --to-current --execute
Specified-Offset 策略直接指定 --to-offset。
bin/kafka-consumer-groups.sh --bootstrap-server kafka-host:port --group test-group --reset-offsets --all-topics --to-offset <offset> --execute
Shift-By-N 策略直接指定 --shift-by N。
bin/kafka-consumer-groups.sh --bootstrap-server kafka-host:port --group test-group --reset-offsets --shift-by <offset_N> --execute
DateTime 策略直接指定 --to-datetime。
bin/kafka-consumer-groups.sh --bootstrap-server kafka-host:port --group test-group --reset-offsets --to-datetime 2019-06-20T20:00:00.000 --execute
Duration 策略，我们直接指定 --by-duration。
30分钟前
bin/kafka-consumer-groups.sh --bootstrap-server kafka-host:port --group test-group --reset-offsets --by-duration PT0H30M0S --execute
2.示例
2.1 通过 offset 位置
不同的版本，下面的路径可能不一样
cd /opt/kafka_2.11-2.0.0/bin
unset JMX_PORT
kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9192 --group galaxy_device --reset-offsets --topic GALAXY_AUTH_EVENTS_ORG --shift-by offst数字 --execute
找到现在消费者 offset 位置，可以通过 kafka tools 工具，修改上面脚本中 offst数字 = 9+1，即跳过一条记录
- galaxy_device 消费组名称
- GALAXY_AUTH_EVENTS_ORG 主题名称
2.2 通过时间
cd /opt/kafka_2.11-2.0.0/bin
unset JMX_PORT
kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:16712 --group galaxy_device --reset-offsets --topic GALAXY_AUTH_EVENTS_ORG --to-datetime 2023-03-26T00:00:00.000 --execute
- galaxy_device 消费组名称
- GALAXY_AUTH_EVENTS_ORG 主题名称
2.3 设置到最早
kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:16712 --group profile-push-core-1 --reset-offsets --topic MessageProfile --to-earliest --execute
- profile-push-core-1 消费组名称
- MessageProfile 主题名称
如图：
