在 logstash 的使用中，我遇到最多的问题是通过 grok 对日志清洗的正则规则使用了，把案例记录一下，以便存档吧。 logstash 本身提供了一个 grok 预定义常用表达式的文件，包括%{USER}、%{IP}、%{NUMBER} 、%{DATA}等，可以通过这来了解一下基本的正则写法。路径如下： /usr/share/logstash…

实验结构 filebeat --> logstash --> elasticsearch --> kibana 说明： ELK是实时日志处理领域的第一开源选择，基于实时全文索引，统一的配置语言，支持集群线性扩展，这次实验设计的各种软件均属于ELK的套件工具。 filebeat 是一个轻量的日志采集器，安装在各应用服务器，其实log…

工作需要建个vpn，便于远程到内网环境来开发，内部设备也好维护。使用centos6自带的openvpn rpm包即可。 # yum install openvpn # cd /etc/openvpn # cp /usr/share/doc/openvpn-2.2.2/sample-config-files/server.conf ./ # mkdi…

编译安装svnserver ./configure –prefix=/data/app/svn –without-berkeley-db make & make install 建立svnserver的配置目录 mkdir /data/app/svn/conf 手工建立三个配置文件： svnserve.conf svn服务器配置 [gene…

近几天一直在测试sphinx/coreseek的分词和全文检索的解决方案，sphinx应用的案例比较多，它所提供的接口也比较丰富。昨日接触了一下xunsearch，有点眼前一亮的感觉，相比前者虽然目前只提供php sdk的使用，但是在使用上更友好，文档更规范，从应用上更加减少了开发成本。 xunsearch是SCWS延伸的一个项目，SCWS基于ph…