大模型取代运维还有多远?

29 Mar 2024 Posted in  LLM

事先声明:标题是吓唬人的,本文主要内容是解读和RCA根因分析有关的五篇大模型论文,并泼泼冷水。 继续阅读……


价值3000元的大模型预训练经验,都在这里了

19 Mar 2024 Posted in  LLM

大模型火起来已经一年多,大家应该已经见过很多prompt提示工程和SFT微调训练的文章,但讲预训练的少之又少。原因也简单:没这么多显卡和数据。 继续阅读……


大模型在运维领域的应用展望

10 Aug 2023 Posted in  LLM

很多人都说,一切软件都应该用大模型重构一遍。这几个月,我也在探索类似的话题:运维软件,应该怎么用大模型来“重构”一遍呢? 继续阅读……


Schillace's Law:好好使用 ChatGPT 的原则

08 Apr 2023 Posted in  LLM

话接上回,今天给大家介绍 ChatGPT “能好怎”中的“好”字诀——Schillace’s Law。 继续阅读……


能不能用ChatGPT的判断原则

07 Apr 2023 Posted in  LLM

越来越多的人开始尝试使用 ChatGPT 了,随之而来的是一些质疑的声音:“感觉 ChatGPT 没多厉害啊?这也不会那也不会……”这其实很正常,所有新技术在成熟运用之前都要经历类似的炒作曲线。恭喜大家进入冷却期,也就是要开始真正掌握这门技术了。 继续阅读……


Edge Dev 用法:让 ChatGPT 读论文

06 Mar 2023 Posted in  LLM

上一篇介绍了 BLIP2 多模态模型没多久,今天又有多模态领域的大新闻,微软发表了一篇论文,介绍自己的Kosmos-1 多模态模型。不过论文没提供在线 demo 可用,只能直接阅读论文了。 继续阅读……


ChatGPT 不是终点:BLIP2 多模态模型介绍

15 Feb 2023 Posted in  LLM

ChatGPT 火热的情况,感觉好像强 AI 近在眼前。但实际上,ChatGPT 代表的 LLM 重点只是在文本生成。还有大量的其他场景,其实也有算法在飞速进步。比如 stable-diffusion 实现的 text2img,比如 text2song,还有 openai 新出的 Point·E 做 text to 3D 等等。 继续阅读……


ChatGPT实践总结:神话之下依然是人

14 Feb 2023 Posted in  LLM

随着 ChatGPT 用得越来越多,逐渐掌握它的最佳和最差实践。总结的看,既不能小瞧 ChatGPT 的跨越式进步,也不能过于神话 ChatGPT 的功效。用好 ChatGPT,还是有较高的用户门槛。我归纳几条使用 ChatGPT 之前一定要牢记的概念。 继续阅读……


ChatGPT最差实践(3):反战还是反华?

14 Feb 2023 Posted in  LLM

这篇标题我想了很久,还是决定用这个稍显直白的说法。是的,本次实验让我对 ChatGPT 的后端到底有多严格的规则过滤有了深度认知,ChatGPT 不可能直接为中国服务——换句话说,BAT 们要加油啊,你们有机会证明自己不只是商业模式创新了。 继续阅读……


chatGPT最差实践(2):似懂非懂的三国演义

14 Feb 2023 Posted in  LLM

如果说古典诗词可能已经式微,确实懂的人不多,那我们再换一个中国人绝对耳熟能详的话题来试试——关云长过五关斩六将,三岁小孩都知道,那是哪六将呢? 继续阅读……


ChatGPT最差实践(1):学不会的数字

14 Feb 2023 Posted in  LLM

ChatGPT 爆火以来,大家对它期望越来越高。和群友们聊天时,甚至有人说出“ChatGPT 相当于一个全学科大一新生水平”的论断。ChatGPT 真的这么厉害?就没有它不懂的东西么? 继续阅读……


ChatGPT 最佳实践(4):编个奥特曼故事哄娃

14 Feb 2023 Posted in  LLM

家里的小男孩永远需要听不完的故事,看不完的绘本。当他还小的时候,作为娃爸曾经费尽脑汁编了好多睡前故事,武器系列、宇宙系列~现在有了 ChatGPT,是不是能解放一下大脑?让我们试试吧。 继续阅读……


ChatGPT 初尝试(3):云原生改造咨询专家

14 Feb 2023 Posted in  LLM

我们都“知道” ChatGPT 可以根据互联网的数据生成大段的文字,AIGC 在自媒体上已经玩的不亦乐乎。那在相对专业的细分领域,ChatGPT 能起到什么作用呢?能给出什么回答,怎么问才能得到好的回答呢? 继续阅读……


ChatGPT初尝试(二):扮演 SPL 专家

31 Jan 2023 Posted in  LLM

第一次尝试,我们让 ChatGPT 扮演 SPL 服务器,让初学者练习 SPL 语句写法。接下来我们进阶思考,把角色扮演翻转过来,让 ChatGPT 扮演一下 SPL 专家,替不想学 SPL 语法的甲方爸爸自动写 SPL 语句,如何? 继续阅读……


ChatGPT初尝试(一):扮演 SPL 服务器

31 Jan 2023 Posted in  LLM

ChatGPT 已经火好几个月了,因为没有开源,所以我先试过 stable-diffusion AI 画图以后,最近才排上空闲时间,来试试到底威力如何。 继续阅读……


运维监控领域的访谈案例研究(2)

17 Nov 2022 Posted in  aiops

微软亚研新发了一篇日志分析有关的案例研究。受访者是微软下属的各产品线码农们,包括问卷和访谈两种数据,我们可以从中看到,以微软这种世界顶级的软件/云厂商,其内部的日志分析现状。论文见:An Empirical Study of Log Analysis at Microsoft (acm.org) 继续阅读……


日志异常检测能转换成指标异常检测吗?

09 Dec 2021 Posted in  aiops

题目上这个问题,做日志异常检测的时候很容易被问到。而且我们也看到很多市面上的产品似乎都不满足于简单的根据聚类结果来发现异常格式的日志记录,想着:”难道就不能再把正常聚类的数据量统计转换成指标数据,然后做个指标异常检测吗?“ 继续阅读……


《AIOPS2020 工作坊白皮书》小记

12 Mar 2021 Posted in  aiops

今天看到 AIOPS 2020 工作坊的网站和白皮书,才知道原来去年有这么个会议(虽然提前知道了也没啥,除了做 keynote 的裴丹教授和吕荣聪教授两位大佬,其他的应该都是外国人,我这英语听力也是废)。看白皮书内容,主要分为两部分,一个是基于文献分析 aiops 在学界过去这些年的趋势,一个是会议收的论文的简介。从论文看,研究的问题都蛮有新意的,今天在这也摘录一番。 继续阅读……


日志通用压缩算法的对比研究

21 Dec 2020 Posted in  logstash

之前的文章介绍日志领域的研究方向时,曾经提到有些研究关注在日志的压缩方面,毕竟日志实在量太大了!日志易一个规模还可以的股份制银行客户,按照法律要求的存储时长计算磁盘大小,对应的硬件成本就是几千万。 继续阅读……


日志管理领域研究现状(三)

28 Aug 2020 Posted in  aiops

去年看过一篇 2016 年国防科大的日志管理综述,这几天看到 2020 年北京大学贾统也发了一篇综述:《基于日志数据的分布式软件系统故障诊断综述》。综述集中在分布式系统的日志如何在故障相关话题中发挥作用。 继续阅读……


日志输出的耗时,大家关注过么?

01 Jul 2020 Posted in  logstash

在2013年,我还在人人网工作的时候,曾经做过一次Nginx性能压力测试,其中一项是access_log配置的影响,那是我第一次知道原来打日志这事儿在极限情况下对服务性能有这么大的影响。当时的原始记录见:Nginx 万兆网络环境测试 继续阅读……


一个有趣的安全分析场景DSL设计

30 Jun 2020 Posted in  产品设计

NEC美国实验室是智能运维领域我长期在关注的一个组织。日志异常检测方面的LogMine和LogLens都出自该实验室。 继续阅读……


云原生日志的趋势(2):logscape和loki

29 May 2020 Posted in  logstash

上一篇讲logscape和logiq,虽然logscape开源了,但是在开源届其实没掀起什么浪花。开源届在云原生日志方面,目前主要是grafana loki项目引人注目。那这一篇稍微讲讲loki,以及loki和上篇的logscape-ng(fluidity)的设计区别。 继续阅读……


云原生日志的趋势(1):logscape和logiq

28 May 2020 Posted in  logstash

作为日志产品的PM,跟进国内外日志产品动向是个长期工作。这几天翻新一些历史记录,发现logscape自2017年开源以来,突然2019年10月又更新了一会。于是顺着翻翻logscape的github账号,起了兴致来写点文字。 继续阅读……


监控指标异常检测之KDE

18 Dec 2019 Posted in  aiops

之前写日志异常检测的文章比较多,今天稍微有空,写写指标异常检测吧。 继续阅读……