Kafka源码分析环境搭建

Kafka源码分析环境搭建使用截止目前为止Kafka的最新版本3.3.1版本的源码进行环境搭建Kafka源码下载从kafka官网下载kafka-3.3.1版本的源码http://kafka.apache.org/downloads解压(要放到英文目录不然会报一些奇怪的错误)Scala安装因为在源码中配置的scala版本是2.13.8以我们在win上安装Scala 2.13上官网找到2.13.8版本对应的下载地址Scala 2.13.8 | The Scala Programming Language然后就可以下载win上的安装包scala.msi下载好之后傻瓜式安装就可以了在cmd中输入scala如果出现如下提示则安装成功idea版本选择与Scala插件因为最终要使用ide来导入同时最新版本的kafka源码构建必须是gradle是高版本所以IDE也必须是高版本才支持高版本的 gradle所以这里推荐使用IntelliJ IDEA 2020.3.4 版本。从这里可以看出gradle是6.7版本已经够支持了。安装Scala插件。进入IntelliJ IDEA的这个界面左侧有一个“Plugins”搜索scala相关的插件此时一开始是找不到的然后点击“search in repositories”找到一个“Scala”插件他的类别是“Language”在线装即可他会下载之后安装Gradle的安装接着需要安装Gradle现在国外很多知名的开源项目Kafka是用Gradle来进行项目的构建了所以需要安装。我的IDE的版本支持的是gradle是Gradle来完成Kafka源码的构建使用gradle 7.6从官网下载解压缩即可然后配置GRADLE_HOME和PATHhttps://gradle.org/releases/配置环境变量新建 GRADLE_HOME 环境变量指向你的 Gradle 解压路径然后将 %GRADLE_HOME%\bin 添加到 Path 环境变量中然后点击确定验证gradle是否安装成功打开cmd命令行输入 gradle -v最后 验证三个基础的依赖都正确安装了java -version scala -version gradle -version使用Gradle来构建Kafka源码通过win命令行进入kafka-3.3.1-src目录下然后执行“gradle idea”为源码导入idea进行构建这个过程会下载大量的依赖jar包建议配置 gradle 版本库为阿里源不然会很慢同时还可能抛出无法下载错误同时也要修改对应的配置文件。编辑Kafka源码目录下的build.gradle文件1、修改阿里源maven { url https://maven.aliyun.com/repository/public }2、修改配置防止构建报错ScalaCompileOptions.metaClass.daemonServertrue ScalaCompileOptions.metaClass.forktrue ScalaCompileOptions.metaClass.useAntfalse ScalaCompileOptions.metaClass.useCompileDaemonfalse3、构建成功安装完了在plugins里面就可以找到scala插件了然后点击“ok”就会提示你重启intellij idea来激活安装好的插件然后点击里面的那个Import Project按钮即可选择你的kafka源码所在的目录选择你构建项目的方式是“gradle”导入的过程也需要不少的时间需要耐心等待会显示的是如下的图在IDEA中启动Kafka我们肯定是要看到log4j输出的日志的所以必须把config目录下的log4j.properties给放到src/main/scala目录下去这样才能看到服务端运行起来的程序打印出来的日志另外需要修改 config目录下的server.properties之前IDE的Scala版本偏老运行时会出现这个错误那么手动更新scala的版本https://plugins.jetbrains.com/plugin/1347-scala/versions/stable缺少包slf4j-nop导入该包。slf4jnop: org.slf4j:slf4j-nop:$versions.slf4j,compileOnly libs.slf4jnop