【Github】项目名：gohangout – 使用golang模仿的Logstash处理数据流转
一、项目简介
gohangout是一个用golang编写的项目，旨在模仿Logstash的功能。它能够消费Kafka中的数据，经过处理后将数据写入到诸如ES（Elasticsearch）、Clickhouse等不同的存储系统中。这个项目的代码主要由Go构成，占比达到97.5%，还有少量的Shell代码占2.0%，其他占0.5%。目前该项目已经获得了1k个星标和239个分支。
二、核心技术
- 数据输入源相关技术：支持多种输入源，如Kafka。在Kafka输入的配置方面，有诸如decorate_events（是否添加元数据信息到字段）、topic（指定消费的主题）、codec（数据编码格式，如json等）、consumer_settings（包含bootstrap.servers、group.id等诸多连接与消费设置相关参数）等众多可配置的参数。
- 数据过滤技术：项目中有多种Filter，例如GrokFilter，它可以通过正则表达式来提取消息中的内容，支持从多个pattern_paths加载模式文件进行匹配；DateFilter能够将字符串类型的日期字段转换为Time类型并存储到指定目标字段；还有像DropFilter可依据设定的条件丢弃消息等多种过滤器，并且if条件支持golang自带的template语法和自定义的DSL语法。
- 数据输出相关技术：在输出方面，以Elasticsearch输出为例，可配置hosts（ES节点地址）、index（索引名称的设置涉及golang特定的时间格式渲染）、index_type、bulk_actions（批量操作的提交次数）、flush_interval（提交间隔时间）等众多参数，并且还支持如sniff（节点嗅探功能）等高级特性。同时也支持向Stdout、Kafka、Clickhouse等不同目标的输出，各自有着不同的配置项来满足不同的需求。
三、项目总结
gohangout是一个功能丰富的项目，对于需要在Kafka、ES、Clickhouse等不同技术组件之间进行数据处理和流转的场景非常有用。它通过模仿Logstash，以golang实现，具有自己的特色和优势。欢迎大家在评论区留言分享自己对于这个项目的看法或者使用过程中的经验等。