项目中日志采集实践：技术、工具与最佳实践


✨✨谢谢大家捧场，祝屏幕前的小伙伴们每天都有好运相伴左右，一定要天天开心哦！✨✨ 
🎈🎈作者主页： 喔的嘛呀🎈🎈

目录

引言

一. 选择合适的日志框架

二. 配置日志框架

三. 使用适当的日志级别

1、日志级别概述

2、选择适当的日志级别 （这里以logbkck为例）

3、动态调整日志级别

四、 结合日志上下文信息

1. 使用 SLF4J MDC

2. 使用 Log4j 2 的 ThreadContext

3. 利用上下文信息

五. 实时监控与集中化存储

1. ELK Stack（Elasticsearch、Logstash、Kibana）

2. 配置 Logstash 收集日志

3. 使用 Kibana 进行可视化与分析

4. Splunk

5. 集中化存储与可扩展性

结语

六. 日志滚动与存档

1. 配置日志框架的滚动策略

2. 根据文件大小滚动

3. 自定义滚动策略

4. 存档旧的日志文件

结语

引言

在现代软件开发中，日志记录是确保系统稳定性、故障排查和性能监控的关键一环。本文将深入探讨项目中日志采集的实践经验，介绍在Java项目中常用的日志采集技术、工具以及一些最佳实践。

一. 选择合适的日志框架

在Java项目中，选择合适的日志框架是日志采集的第一步。常见的日志框架包括Log4j、Logback和SLF4J。以下是一些选择框架的考虑因素：

  • 性能： 某些框架可能在性能方面表现更优，因此根据项目需求选择适当的框架。
  • 灵活性： 某些框架提供更灵活的配置和输出选项，适应不同的应用场景。
  • 社区支持： 选择拥有活跃社区支持和持续更新的框架，以确保及时解决问题和获取最新功能。

二. 配置日志框架

在选定日志框架后，需要进行适当的配置以满足项目的需求。一般而言，配置文件通常是XML或者属性文件，其中包含有关日志级别、输出格式、目标位置等信息。

以Logback为例，一个简单的配置文件示例如下：

<!-- logback.xml -->
<configuration><appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender"><encoder><pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern></encoder></appender><appender name="FILE" class="ch.qos.logback.core.FileAppender"><file>logs/myapp.log</file><encoder><pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern></encoder></appender><logger name="com.example" level="DEBUG"/><root level="INFO"><appender-ref ref="CONSOLE"/><appender-ref ref="FILE"/></root></configuration>

上述配置定义了两个Appender，一个用于控制台输出，另一个用于文件输出，并设置了日志级别和输出格式。

三. 使用适当的日志级别

在项目中使用适当的日志级别是确保日志系统发挥最大效益的关键因素之一。选择适当的日志级别可以确保在不同环境和阶段中获得适当详细程度的日志信息，同时避免产生过多或过少的日志，以提高系统的性能和可维护性。

1、日志级别概述

在Java日志框架中，常见的日志级别包括：

  1. TRACE： 提供最详细的日志信息，通常用于调试。
  2. DEBUG： 提供用于调试的详细信息，适用于开发和测试环境。
  3. INFO： 提供关键的运行时信息，表明应用程序正常运行。
  4. WARN： 表示潜在的问题，可能需要注意但不影响程序正常运行。
  5. ERROR： 指示发生了错误，可能需要进一步的处理。

2、选择适当的日志级别 （这里以logbkck为例）

  1. 开发阶段使用DEBUG： 在开发阶段，使用DEBUG级别以获得更详细的日志信息，帮助开发人员追踪和调试代码。

public class ExampleClass {private static final Logger logger = LoggerFactory.getLogger(ExampleClass.class);public void someMethod() {// ...logger.debug("Debug information for developers");// ...}
}

生产环境使用INFO： 在生产环境中，将日志级别设置为INFO，以确保记录关键的运行时信息，同时减少冗余的调试信息。

警告和错误处理： 对于潜在的问题和错误情况，使用WARN和ERROR级别。这些级别的日志将帮助团队快速识别和解决系统中的问题。

3、动态调整日志级别

一些日志框架允许在运行时动态调整日志级别，这对于在不重新启动应用程序的情况下调整日志记录的详细程度非常有用。

通过使用适当的日志级别，开发团队可以更好地平衡信息的详细度和性能开销，确保在不同环境和场景下实现最佳的日志记录效果。

四、 结合日志上下文信息

结合日志上下文信息是在日志记录中增加额外上下文信息，以便更好地理解日志事件的发生背景。这对于跟踪特定请求、用户会话或其他业务流程非常有用。在Java项目中，一种常见的实践是使用SLF4J的MDC（Mapped Diagnostic Context）或Log4j 2的ThreadContext来实现日志上下文信息的添加。

1. 使用 SLF4J MDC

SLF4J的MDC允许在一次请求或业务流程中将键值对信息添加到日志上下文中，这样可以在整个处理过程中一直存在。

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.slf4j.MDC;public class RequestContextLogger {private static final Logger logger = LoggerFactory.getLogger(RequestContextLogger.class);public void processRequest(String requestId, String userId) {try {// 将请求ID和用户ID放入日志上下文MDC.put("requestId", requestId);MDC.put("userId", userId);// 处理请求logger.info("Processing request");// ...} catch (Exception e) {logger.error("Error processing request", e);} finally {// 清理日志上下文，确保不影响其他请求MDC.clear();}}
}

2. 使用 Log4j 2 的 ThreadContext

Log4j 2提供了ThreadContext，与SLF4J的MDC类似，也能够在线程范围内存储键值对的上下文信息。

import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
import org.apache.logging.log4j.ThreadContext;public class RequestContextLogger {private static final Logger logger = LogManager.getLogger(RequestContextLogger.class);public void processRequest(String requestId, String userId) {try {// 将请求ID和用户ID放入日志上下文ThreadContext.put("requestId", requestId);ThreadContext.put("userId", userId);// 处理请求logger.info("Processing request");// ...} catch (Exception e) {logger.error("Error processing request", e);} finally {// 清理日志上下文，确保不影响其他请求ThreadContext.clearAll();}}
}

3. 利用上下文信息

结合日志上下文信息的优势在于，可以将一系列相关的日志事件关联起来，从而更轻松地跟踪特定请求或用户的操作流程。例如，在分布式系统中，通过在日志中添加唯一的请求ID，可以在多个服务中追踪整个请求的处理过程。

public class DistributedService {private static final Logger logger = LoggerFactory.getLogger(DistributedService.class);public void processDistributedRequest(String requestId) {try {MDC.put("requestId", requestId);// 处理分布式请求logger.info("Processing distributed request");// ...} catch (Exception e) {logger.error("Error processing distributed request", e);} finally {MDC.clear();}}
}

通过结合上下文信息，日志记录不再是孤立的事件，而是有机地连接在一起，为系统的故障排查和性能优化提供了更加强大的工具。

五. 实时监控与集中化存储

实时监控与集中化存储是项目中日志管理的重要环节，通过这些手段，团队可以实时追踪系统的运行状态、检测潜在问题，并在需要时进行及时的故障排查。在Java项目中，常用的工具包括ELK Stack（Elasticsearch、Logstash、Kibana）、Splunk等。

1. ELK Stack（Elasticsearch、Logstash、Kibana）

ELK Stack是一套用于日志收集、存储和可视化的开源工具组合。

  • Elasticsearch： 用于存储和检索大量的日志数据。它提供了强大的搜索和分析功能，适用于实时数据。

  • Logstash： 用于日志的收集、过滤和转发。Logstash能够将来自不同来源的日志数据进行规范化，并发送到Elasticsearch中进行存储。

  • Kibana： 提供了直观的用户界面，用于查询、可视化和分析存储在Elasticsearch中的日志数据。通过Kibana，团队可以创建仪表板、图表，以及对日志数据进行深入分析。

2. 配置 Logstash 收集日志

在项目中配置Logstash以收集日志是ELK Stack的关键一步。Logstash支持多种输入源和输出目标，可以通过简单的配置文件定义。

# logstash.confinput {file {path => "/path/to/your/application.log"start_position => "beginning"}
}filter {# 可添加过滤规则
}output {elasticsearch {hosts => ["localhost:9200"]index => "your_index_name"}
}

这个示例配置了一个Logstash输入插件，监视指定路径下的日志文件，并将其输出到Elasticsearch。filter部分可以添加额外的规则，用于对日志进行解析、过滤或添加额外信息。

3. 使用 Kibana 进行可视化与分析

Kibana提供了直观的用户界面，可以通过 Web 浏览器访问。在Kibana中，可以创建仪表板、图表，以及执行复杂的查询和分析。

通过Kibana，可以轻松实现：

  • 实时监控： 查看实时日志数据，随时了解系统的运行状态。

  • 故障排查： 根据特定条件搜索日志，找到潜在问题的根本原因。

  • 性能分析： 利用图表和可视化工具分析系统的性能瓶颈。

4. Splunk

Splunk是另一种广泛使用的日志管理工具，它提供了日志收集、搜索、分析和可视化的一体化解决方案。

  • 日志收集： Splunk支持从多种来源（文件、数据库、网络流量等）收集日志数据。

  • 实时搜索与分析： 提供实时的搜索和分析功能，支持复杂查询，以及通过可视化界面展示搜索结果。

  • 仪表板与报告： 用户可以创建自定义的仪表板和报告，用于监控和分析系统性能。

5. 集中化存储与可扩展性

ELK Stack和Splunk都具有强大的集中化存储机制，能够存储大量的日志数据。这种集中化的存储不仅方便了日志的检索和分析，还为系统提供了可扩展性，能够处理大规模的应用日志。

结语

实时监控与集中化存储是保障项目稳定性和性能的关键一环。通过使用ELK Stack、Splunk等工具，项目团队可以在复杂的系统环境中实时跟踪日志，进行及时的故障排查和性能优化。这些工具的强大功能不仅提高了团队的效率，同时为项目提供了更好的可维护性和可扩展性。

六. 日志滚动与存档

日志滚动与存档是项目中的重要实践，它确保了日志文件的合理管理，防止日志文件过大导致存储问题，并帮助维持系统的正常运行。以下是一些在Java项目中实现日志滚动与存档的常见做法。

1. 配置日志框架的滚动策略

大多数日志框架都提供了滚动策略，可以通过配置文件进行设置。这些策略决定了何时滚动到新的日志文件，并在何时删除旧的日志文件。以Logback为例，配置一个基本的滚动策略：

<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender"><file>logs/myapp.log</file><rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"><fileNamePattern>logs/myapp.%d{yyyy-MM-dd}.log</fileNamePattern><maxHistory>30</maxHistory></rollingPolicy><encoder><pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern></encoder>
</appender>

上述配置使用了TimeBasedRollingPolicy，它将根据时间滚动日志文件。maxHistory指定了保留的历史日志文件数量，超过这个数量的日志文件将被删除。

2. 根据文件大小滚动

有时候，按时间滚动可能不够，还需要根据日志文件的大小来滚动。这可以通过配置文件大小的方式来实现：

<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender"><file>logs/myapp.log</file><rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy"><fileNamePattern>logs/myapp.%d{yyyy-MM-dd}.%i.log</fileNamePattern><maxFileSize>5MB</maxFileSize><maxHistory>30</maxHistory></rollingPolicy><encoder><pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern></encoder>
</appender>

上述配置使用了SizeAndTimeBasedRollingPolicy，它根据文件的大小和时间来滚动日志文件。maxFileSize指定了每个日志文件的最大大小。

3. 自定义滚动策略

有时候，项目可能需要根据自定义的条件来滚动日志。在这种情况下，可以考虑实现自定义的滚动策略。例如，根据特定业务规则滚动日志文件：

public class CustomRollingPolicy extends TimeBasedRollingPolicy<ILoggingEvent> {// 实现自定义的滚动逻辑
}

然后在配置文件中使用自定义的滚动策略：

<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender"><file>logs/myapp.log</file><rollingPolicy class="com.example.CustomRollingPolicy"><!-- 自定义配置 --></rollingPolicy><encoder><pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern></encoder>
</appender>

4. 存档旧的日志文件

除了滚动日志文件，存档旧的日志文件也是一种常见的做法。这可以通过定期将旧的日志文件移动到归档目录来实现，以防止它们占用过多的磁盘空间。

或者使用程序化的方式，在Java代码中实现：

import java.io.File;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.StandardCopyOption;
import java.time.LocalDate;
import java.time.format.DateTimeFormatter;public class LogArchiver {public static void archiveLogFile(String logFileName, String archiveDirectory) {String currentDate = LocalDate.now().format(DateTimeFormatter.ofPattern("yyyy-MM-dd"));File logFile = new File(logFileName);File archiveDir = new File(archiveDirectory);if (!archiveDir.exists()) {archiveDir.mkdirs();}Path sourcePath = logFile.toPath();Path targetPath = new File(archiveDir, logFile.getName() + "." + currentDate + ".log").toPath();try {Files.move(sourcePath, targetPath, StandardCopyOption.REPLACE_EXISTING);} catch (Exception e) {e.printStackTrace();}}
}

在定期任务中调用archiveLogFile方法即可实现日志文件的归档。

通过实现日志滚动和存档，项目可以更有效地管理日志文件，确保系统在长时间运行中能够保持良好的性能。这不仅对于故障排查有帮助，同时也有助于遵循合规性要求。

结语

通过选择合适的日志框架、适当配置、使用适当的日志级别和结合上下文信息，项目可以建立起强大的日志记录系统，为故障排查、性能优化和系统监控提供有力支持。同时，实时监控和集中化存储则为团队提供了更方便的手段来追踪系统状态。细致入微的日志记录不仅是项目开发的技术实践，更是提高团队整体效率和项目质量的重要保障。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/537269.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Github 2024-03-14 Go开源项目日报 Top10

Github 2024-03-14 Go开源项目日报 Top10

根据Github Trendings的统计，今日(2024-03-14统计)共有10个项目上榜。根据开发语言中项目的数量，汇总情况如下： 开发语言项目数量Go项目9非开发语言项目1TypeScript项目1Ollama: 本地大型语言模型设置与运行 创建周期：248 天开发语言：Go协议类型：MIT LicenseStar数量：42…
阅读更多...
漫途桥梁结构安全监测方案，护航桥梁安全！

漫途桥梁结构安全监测方案，护航桥梁安全！

桥梁作为城市生命线的重要组成部分&#xff0c;承载着城市交通、物流输送、应急救援等重要职能。然而&#xff0c;随着我国社会经济的飞速发展&#xff0c;桥梁所承载的交通流量逐年增长&#xff0c;其安全性所面临的挑战亦日益严峻。例如恶劣的外部环境、沉重的荷载以及长期使…
阅读更多...
17.获取帖子列表

17.获取帖子列表

文章目录 一、建立帖子表结构并插入一些测试数据二、通过SQL建立对应的数据模型三、建立路由四、开发GetPostListHandler五、编写logic六、编写dao层七、编译测试运行 一、建立帖子表结构并插入一些测试数据 create table post (id bigint auto_increment primary k…
阅读更多...
Mysql 死锁案例4-delete 相邻记录导致死锁

Mysql 死锁案例4-delete 相邻记录导致死锁

死锁复现 CREATE TABLE t (id int(11) NOT NULL,c int(11) DEFAULT NULL,d int(11) DEFAULT NULL,PRIMARY KEY (id),KEY c (c) ) ENGINEInnoDB DEFAULT CHARSETutf8;/*Data for the table t */insert into t(id,c,d) values (0,0,0),(5,5,5),(10,10,10),(15,15,15) 事务1事…
阅读更多...
easyrecovery破解版百度云（含Mac/Win版）以及EasyRecovery可以恢复哪些设备

easyrecovery破解版百度云（含Mac/Win版）以及EasyRecovery可以恢复哪些设备

软件介绍 当不小心将回收站的文件删除了怎么办&#xff1f;想找回但是不知道怎么找回需要的数据文件&#xff1f;别担心今天小编就为大家介绍一款非常专业的电脑数据文件恢复工具&#xff0c;easyrecovery14是由Ontrack专为电脑用户推出的一款专业的数据恢复软件&…
阅读更多...
Go——数组

Go——数组

Golang Array和以往认知的数组有很大的。 数组是同一种数据类型的固定长度的序列。数组定义&#xff1a;var a[len] int&#xff0c;比如&#xff1a;var a [5]int&#xff0c;数组长度必须是常量&#xff0c;且类型的组成部分。一旦定义&#xff0c;长度不能变。长度是数组类…
阅读更多...
ip广播智慧工地广播喊话号角 IP网络号角在塔吊中应用 通过寻呼话筒预案广播

ip广播智慧工地广播喊话号角 IP网络号角在塔吊中应用 通过寻呼话筒预案广播

ip广播智慧工地广播喊话号角 IP网络号角在塔吊中应用 通过寻呼话筒预案广播 SV-704XT是深圳锐科达电子有限公司的一款壁挂式网络有源号角&#xff0c;具有10/100M以太网接口&#xff0c;可将网络音源通过自带的功放和号角喇叭输出播放&#xff0c;可达到功率50W。SV-704XT内置有…
阅读更多...
机器学习模型—随机森林

机器学习模型—随机森林

机器学习模型—随机森林 随机森林(Random Forest)是由斯坦福大学教授Tin Kam Ho在1995年提出的一种组合学习模型。它可以用于分类和回归任务,并在很多现实世界的问题中表现出优异的性能。 随机森林本质上是通过构建多颗决策树,然后将单个树的预测结果进行组合,从而获得更加准…
阅读更多...
Cesium--基于材质旋转图片

Cesium--基于材质旋转图片

材质部分的代码如下 // 自定义材质const customMaterial new Cesium.Material({translucent: true,fabric: {uniforms: {image:circle_img,speed:30.0,},source: czm_material czm_getMaterial(czm_materialInput materialInput){czm_material material czm_getDefaultMateri…
阅读更多...
【软考高项】四、信息化发展之数字中国

【软考高项】四、信息化发展之数字中国

1、数字经济 定义&#xff1a;从本质上看&#xff0c;数字经济是一种新的技术经济范式&#xff0c;它建立在信息与通信技术的重大突破的基础上&#xff0c;以数字技术与实体经济融合驱动的产业梯次转型和经济创新发展的主引擎&#xff0c;在基础设施、生产要素、产业结构和治理…
阅读更多...
opencv-python连通域分割connectedComponents

opencv-python连通域分割connectedComponents

文章目录 连通域简介绘图代码函数说明 连通域简介 所谓连通域&#xff0c;即Connected Component&#xff0c;是一组彼此相连的像素点的集合&#xff0c;这些像素点彼此之间可以假设一条互相链接的路径&#xff0c;路径上所有像素的灰度一致&#xff0c;或者符合某个特定的条件…
阅读更多...
HCIP —— BGP 路径属性 （上）

HCIP —— BGP 路径属性 （上）

目录 BGP 路径属性 1.优选Preferred-Value属性值最大的路由 2.优选Local-preference 属性数值大的路由 3.本地始发的BGP路由优先于其他对等体处学习到的路由。 4..优选AS_PATH属性值最短的路由 BGP 路径属性 BGP的路由选路是存在优选规则的&#xff0c;下图为华为官网提供…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023