日志分析和监控在系统开发、网站运营优化中占有非常重要的地位,同时对于数字营销也有非常重要的作用。就笔者个人而言,通常的需求场景如下:

  • 广告投放方面:
    • 排查广告点击到达情况,计算广告到达率(通常广告点击一次就会有一条日志产生,如果日志数量明显低于广告点击次数,则campaign或者该渠道需要调整)
    • 实时监控点击IP分布,观察是否有IP集中或者恶意点击情况
    • 大型投放活动的实施监控
    • 通过正则过滤,快速的监控不同URL的实时访问情况
  • 搜索引擎优化方面
    • 通过spider、响应代码、不同网站URL目录、时间等维度,通过快速细分发现抓取问题,改善搜索引擎抓取效能
    • 监控各厂商spider抓取的趋势数据,快速的进行对比和趋势分析
    • 新项目发布,实时监控搜索引擎蜘蛛抓取情况

总的来说,使用kibana和你可以搭建可视化的日志数据。

简单来讲他具体的工作流程就是 logstash agent 监控并过滤日志,将过滤后的日志内容发给redis(这里的redis只处理队列不做存储),logstash index将日志收集在一起交给全文搜索服务ElasticSearch 可以用ElasticSearch进行自定义搜索 通过Kibana 来结合 自定义搜索进行页面展示,下图是 Kibana官网上的流程图

131135111

kibana的功能特色如下:
快速高效的基于时间比较分析,发现数据变化
time-based1

为了更好地理解大数据,基于kibana你可以很容易地创建条形图、柱状图、散点图、饼图和地图。
sense1

强大的数据接口,电商网站基于kibana可以非常方便的监控销售接口情况,可以是企业大量的经营业务数据化、可监控。
empower1

强大的搜索语法,通过获取背景数据,可以方便的展开不同维度的细分分析,关注和获得你真正感兴趣、有意义的数据。
例如,你可以给前端监控所有100到500bytes的html和css文档
search1

如果你是一个IT技术,对实施kibana感兴趣,推荐以下延伸阅读:
kibana:http://www.kibana.org/
DEMO:http://demo.kibana.org/
http://storysky.blog.51cto.com/628458/1158707/
http://c20031776.blog.163.com/blog/static/684716252013111134033672/