ChatGPT 已经火好几个月了，因为没有开源，所以我先试过 stable-diffusion AI 画图以后，最近才排上空闲时间，来试试到底威力如何。 继续阅读……

微软亚研新发了一篇日志分析有关的案例研究。受访者是微软下属的各产品线码农们，包括问卷和访谈两种数据，我们可以从中看到，以微软这种世界顶级的软件/云厂商，其内部的日志分析现状。论文见：An Empirical Study of Log Analysis at Microsoft (acm.org) 继续阅读……

题目上这个问题，做日志异常检测的时候很容易被问到。而且我们也看到很多市面上的产品似乎都不满足于简单的根据聚类结果来发现异常格式的日志记录，想着：”难道就不能再把正常聚类的数据量统计转换成指标数据，然后做个指标异常检测吗？“ 继续阅读……

今天看到 AIOPS 2020 工作坊的网站和白皮书，才知道原来去年有这么个会议（虽然提前知道了也没啥，除了做 keynote 的裴丹教授和吕荣聪教授两位大佬，其他的应该都是外国人，我这英语听力也是废）。看白皮书内容，主要分为两部分，一个是基于文献分析 aiops 在学界过去这些年的趋势，一个是会议收的论文的简介。从论文看，研究的问题都蛮有新意的，今天在这也摘录一番。 继续阅读……

之前的文章介绍日志领域的研究方向时，曾经提到有些研究关注在日志的压缩方面，毕竟日志实在量太大了！日志易一个规模还可以的股份制银行客户，按照法律要求的存储时长计算磁盘大小，对应的硬件成本就是几千万。 继续阅读……

去年看过一篇 2016 年国防科大的日志管理综述，这几天看到 2020 年北京大学贾统也发了一篇综述：《基于日志数据的分布式软件系统故障诊断综述》。综述集中在分布式系统的日志如何在故障相关话题中发挥作用。 继续阅读……

在2013年，我还在人人网工作的时候，曾经做过一次Nginx性能压力测试，其中一项是access_log配置的影响，那是我第一次知道原来打日志这事儿在极限情况下对服务性能有这么大的影响。当时的原始记录见：Nginx 万兆网络环境测试 继续阅读……

NEC美国实验室是智能运维领域我长期在关注的一个组织。日志异常检测方面的LogMine和LogLens都出自该实验室。 继续阅读……

上一篇讲logscape和logiq，虽然logscape开源了，但是在开源届其实没掀起什么浪花。开源届在云原生日志方面，目前主要是grafana loki项目引人注目。那这一篇稍微讲讲loki，以及loki和上篇的logscape-ng(fluidity)的设计区别。 继续阅读……

作为日志产品的PM，跟进国内外日志产品动向是个长期工作。这几天翻新一些历史记录，发现logscape自2017年开源以来，突然2019年10月又更新了一会。于是顺着翻翻logscape的github账号，起了兴致来写点文字。 继续阅读……

之前写日志异常检测的文章比较多，今天稍微有空，写写指标异常检测吧。 继续阅读……

我们之前看的比较多的运维监控领域的论文，都是计算机、网络、算法方面的研究。偶然的机会，看到一篇管理学方面的研究，来自德国斯图加特大学工业工程学院，通过访谈法的多案例研究，分析分布式系统观测和监控的现状和需求。 继续阅读……

我们都知道化学元素周期表是一项人类历史上的伟大发明。周期表形式生动，印象深刻。 继续阅读……

从上一篇提到的《软件学报》上的综述文章开始，这段时间顺着引用又陆续看了一些日志管理方面的论文。这里摘录一些论文的数据和结论，还都挺有意思的。 继续阅读……

在日志分析领域，如何从非结构化的原始日志文本转换成结构化的字段参数值，一直是非常重要而又麻烦的工作。 继续阅读……

作为运维人员，大家可能已经习惯了出问题的时候，找日志，看日志，或者打包日志发给研发。那么，大家有没有想过，在软件研发人员的角度，可以怎么理解日志的作用呢——尤其是目前研发人员主导监控埋点，指标监控似乎也要亲研发远运维的情况下，日志系统的未来会是什么样子呢？ 继续阅读……

今天有点空，聊个IT监控系统中常见的小细节：主机热力图。 继续阅读……

时隔一年没有更新，日志的模式发现，已经变成了大大小小各家厂商的标配功能。前几天看到阿里云日志服务，也刚刚支持了相关特性。而且从系统设计层面来说，有些想法蛮不错的，这里给大家介绍一下。 继续阅读……

《山寨一个 Splunk 的事件模式功能》 和 《日志分析的模式发现功能实现(2)-sumologic》 前两篇，已经分别讲过了商业产品老大splunk、开源项目老大ELK、云服务老大sumologic分别的实现做法。除了他们以外，还有一些其他实现，这次一并讲完。 继续阅读……

《山寨一个 Splunk 的事件模式功能》里我们曾经介绍了splunk里的模式功能，以及如何使用ELK做一个简单的模拟。 继续阅读……

上一篇文章里，我试图论证了一个观点：在日志分析场景下的DSL设计，宜采用数据管道风格。 继续阅读……

智能运维平台的内核驱动力来自数据（日志和指标）分析。从广义范畴来说，所有可以用作数据处理的软件系统，都可以用来构建这个平台。从远古时代的awstats到piwik，到人手一个的hadoop集群（确实没有更抽象具体的运维向子产品），到目前最流行的ELK，包括新近的基于PostgreSQL搞的TimeseriesDB，基于Solr搞的Rocana等等。 继续阅读……

老习惯，一年年底给自己做一个总结。 继续阅读……

日志分析是 IT 运维领域非常重要的一部分工作。甚至可以说，在平台化、模块化、服务化盛行的今天，这部分工作的重要性已经逼近传统的设备监控。不过日志由于来源、使用者、管理者都比设备指标要复杂，导致日志分析的功能需求，也庞大很多。在这些庞大的，或者说『泥沙俱下』的功能需求中，有那么一些然并卵的，或许因为听起来很炫酷，或许因为想延续过去的使用习惯，今天因为出差到外地，难得有空放松下，决定吐槽几个这种然并卵的功能。 继续阅读……

rally 工具是 Elastic 官方开源的针对性性能压测工具。目前 Elasticsearch 的 nightly performance report 就是由 rally 产生的。对自己在做 ES 源码修改，或者ES 应用调优的人来说，通过 rally 验证自己的修改效果，是一件很需要且容易的事情。 继续阅读……