如果说古典诗词可能已经式微，确实懂的人不多，那我们再换一个中国人绝对耳熟能详的话题来试试——关云长过五关斩六将，三岁小孩都知道，那是哪六将呢？ 继续阅读……
ChatGPT最差实践(1)：学不会的数字
14 Feb 2023 Posted in LLM
ChatGPT 爆火以来，大家对它期望越来越高。和群友们聊天时，甚至有人说出“ChatGPT 相当于一个全学科大一新生水平”的论断。ChatGPT 真的这么厉害？就没有它不懂的东西么？ 继续阅读……
ChatGPT 最佳实践(4)：编个奥特曼故事哄娃
14 Feb 2023 Posted in LLM
家里的小男孩永远需要听不完的故事，看不完的绘本。当他还小的时候，作为娃爸曾经费尽脑汁编了好多睡前故事，武器系列、宇宙系列~现在有了 ChatGPT，是不是能解放一下大脑？让我们试试吧。 继续阅读……
ChatGPT 初尝试(3)：云原生改造咨询专家
14 Feb 2023 Posted in LLM
我们都“知道” ChatGPT 可以根据互联网的数据生成大段的文字，AIGC 在自媒体上已经玩的不亦乐乎。那在相对专业的细分领域，ChatGPT 能起到什么作用呢？能给出什么回答，怎么问才能得到好的回答呢？ 继续阅读……
ChatGPT初尝试(二)：扮演 SPL 专家
31 Jan 2023 Posted in LLM
第一次尝试，我们让 ChatGPT 扮演 SPL 服务器，让初学者练习 SPL 语句写法。接下来我们进阶思考，把角色扮演翻转过来，让 ChatGPT 扮演一下 SPL 专家，替不想学 SPL 语法的甲方爸爸自动写 SPL 语句，如何？ 继续阅读……
ChatGPT初尝试(一)：扮演 SPL 服务器
31 Jan 2023 Posted in LLM
ChatGPT 已经火好几个月了，因为没有开源，所以我先试过 stable-diffusion AI 画图以后，最近才排上空闲时间，来试试到底威力如何。 继续阅读……
运维监控领域的访谈案例研究(2)
17 Nov 2022 Posted in aiops
微软亚研新发了一篇日志分析有关的案例研究。受访者是微软下属的各产品线码农们，包括问卷和访谈两种数据，我们可以从中看到，以微软这种世界顶级的软件/云厂商，其内部的日志分析现状。论文见：An Empirical Study of Log Analysis at Microsoft (acm.org) 继续阅读……
日志异常检测能转换成指标异常检测吗？
09 Dec 2021 Posted in aiops
题目上这个问题，做日志异常检测的时候很容易被问到。而且我们也看到很多市面上的产品似乎都不满足于简单的根据聚类结果来发现异常格式的日志记录，想着：”难道就不能再把正常聚类的数据量统计转换成指标数据，然后做个指标异常检测吗？“ 继续阅读……
《AIOPS2020 工作坊白皮书》小记
12 Mar 2021 Posted in aiops
今天看到 AIOPS 2020 工作坊的网站和白皮书，才知道原来去年有这么个会议（虽然提前知道了也没啥，除了做 keynote 的裴丹教授和吕荣聪教授两位大佬，其他的应该都是外国人，我这英语听力也是废）。看白皮书内容，主要分为两部分，一个是基于文献分析 aiops 在学界过去这些年的趋势，一个是会议收的论文的简介。从论文看，研究的问题都蛮有新意的，今天在这也摘录一番。 继续阅读……
日志通用压缩算法的对比研究
21 Dec 2020 Posted in logstash
之前的文章介绍日志领域的研究方向时，曾经提到有些研究关注在日志的压缩方面，毕竟日志实在量太大了！日志易一个规模还可以的股份制银行客户，按照法律要求的存储时长计算磁盘大小，对应的硬件成本就是几千万。 继续阅读……
日志管理领域研究现状(三)
28 Aug 2020 Posted in aiops
去年看过一篇 2016 年国防科大的日志管理综述，这几天看到 2020 年北京大学贾统也发了一篇综述：《基于日志数据的分布式软件系统故障诊断综述》。综述集中在分布式系统的日志如何在故障相关话题中发挥作用。 继续阅读……
日志输出的耗时，大家关注过么？
01 Jul 2020 Posted in logstash
在2013年，我还在人人网工作的时候，曾经做过一次Nginx性能压力测试，其中一项是access_log配置的影响，那是我第一次知道原来打日志这事儿在极限情况下对服务性能有这么大的影响。当时的原始记录见：Nginx 万兆网络环境测试 继续阅读……
一个有趣的安全分析场景DSL设计
30 Jun 2020 Posted in 产品设计
云原生日志的趋势(2)：logscape和loki
29 May 2020 Posted in logstash
上一篇讲logscape和logiq，虽然logscape开源了，但是在开源届其实没掀起什么浪花。开源届在云原生日志方面，目前主要是grafana loki项目引人注目。那这一篇稍微讲讲loki，以及loki和上篇的logscape-ng(fluidity)的设计区别。 继续阅读……
云原生日志的趋势(1)：logscape和logiq
28 May 2020 Posted in logstash
作为日志产品的PM，跟进国内外日志产品动向是个长期工作。这几天翻新一些历史记录，发现logscape自2017年开源以来，突然2019年10月又更新了一会。于是顺着翻翻logscape的github账号，起了兴致来写点文字。 继续阅读……
运维监控领域的访谈案例研究
09 Dec 2019 Posted in monitor
我们之前看的比较多的运维监控领域的论文，都是计算机、网络、算法方面的研究。偶然的机会，看到一篇管理学方面的研究，来自德国斯图加特大学工业工程学院，通过访谈法的多案例研究，分析分布式系统观测和监控的现状和需求。 继续阅读……
日志管理领域研究现状(2)
23 Sep 2019 Posted in aiops
从上一篇提到的《软件学报》上的综述文章开始，这段时间顺着引用又陆续看了一些日志管理方面的论文。这里摘录一些论文的数据和结论，还都挺有意思的。 继续阅读……
sequencer.io项目介绍
25 Jun 2019 Posted in aiops
在日志分析领域，如何从非结构化的原始日志文本转换成结构化的字段参数值，一直是非常重要而又麻烦的工作。 继续阅读……
软件工程角度的日志分析领域研究现状
22 May 2019 Posted in aiops
作为运维人员，大家可能已经习惯了出问题的时候，找日志，看日志，或者打包日志发给研发。那么，大家有没有想过，在软件研发人员的角度，可以怎么理解日志的作用呢——尤其是目前研发人员主导监控埋点，指标监控似乎也要亲研发远运维的情况下，日志系统的未来会是什么样子呢？ 继续阅读……
日志分析的模式发现功能实现(4)-阿里云SLS
22 Mar 2019 Posted in logstash
时隔一年没有更新，日志的模式发现，已经变成了大大小小各家厂商的标配功能。前几天看到阿里云日志服务，也刚刚支持了相关特性。而且从系统设计层面来说，有些想法蛮不错的，这里给大家介绍一下。 继续阅读……
日志分析的模式发现功能实现(3)-其他厂商
23 Nov 2017 Posted in logstash
《山寨一个 Splunk 的事件模式功能》 和 《日志分析的模式发现功能实现(2)-sumologic》 前两篇，已经分别讲过了商业产品老大splunk、开源项目老大ELK、云服务老大sumologic分别的实现做法。除了他们以外，还有一些其他实现，这次一并讲完。 继续阅读……
日志分析的模式发现功能实现(2)-sumologic
09 Nov 2017 Posted in logstash
《山寨一个 Splunk 的事件模式功能》里我们曾经介绍了splunk里的模式功能，以及如何使用ELK做一个简单的模拟。 继续阅读……
