用 AI 模型来分析日志,发现未知异常,是目前非常流行的监控手段,之前我也介绍过这一类日志异常检测算法。不过你有没有想过一种可能性:你的日志 AI 模型会被黑客注入后门,AI 平常该怎么告警还怎么告警,关键时刻却“故意”漏报异常日志? 继续阅读……
27 May 2025 Posted in 安全
用 AI 模型来分析日志,发现未知异常,是目前非常流行的监控手段,之前我也介绍过这一类日志异常检测算法。不过你有没有想过一种可能性:你的日志 AI 模型会被黑客注入后门,AI 平常该怎么告警还怎么告警,关键时刻却“故意”漏报异常日志? 继续阅读……
24 May 2025 Posted in AIOps
一年前,笔者曾写过一篇《离大模型全面接管运维还有多远》,探讨了当时几篇运维领域大模型的进展。一年过去了,大模型技术本身可谓日新月异,各种开源闭源模型层出不穷,能力也肉眼可见地增强。那么,在运维这个“老大难”的领域,大模型应用是否也水涨船高了呢?我们是不是离那个“NoOps”又近了一步? 继续阅读……
12 May 2025 Posted in 可观测性
近期,可观测性 2.0 概念引发了国内外友商们的广泛关注与热议,greptimedb 公司《什么是可观测性 2.0 ?什么是可观测性 2.0 原生数据库?》引用了 honeycomb CTO Charity Majors 的文章,介绍了宽事件(wide event)的概念和自己针对这个概念的底层设计,flashcat 公司《可观测性2.0?还是只是日志的卷土重来?》则批判性地翻译了 Hydrolix CTO Todd Persen的文章——Todd Persen 在 Charity Majors 观点的基础上,进一步认为应该提供高性价比的原始日志存储方案,并提供超脱在运维以上的业务价值——而 flashcat 则认为这个观点不方便利旧,落地难度更高,还是选择上层串联的方式更实用。 继续阅读……
23 Apr 2025 Posted in 智能运维
在八个月前的《日志易 SPL 实现基于大模型的海量日志总结》中,我曾经展示了一种综合 TFIDF 向量化、KMeans 聚类和 DPP 多样性采样算法,实现日志总结的方案。现在新一代的大模型,普遍可以支持 128k 的上下文窗口大小,激进一点的,比如 gemini、minimax,运用线性注意力机制,甚至实现了 1M 以上的窗口。很多人就有疑问了:我是不是直接把几千行日志一口气上传给大模型,要求 AI 总结就足够了? 继续阅读……
14 Apr 2025 Posted in 智能运维
在 AI 蓬勃发展的当下,大型语言模型(LLM)虽展现出强大潜力,却受困于与外部资源连接的难题。数据分散、接口繁杂,致使 AI 模型难以灵活对接本地资源与远程服务,极大限制了其响应质量与工作效率。而就在这一关键时刻,MCP Server 强势登场,成为破局的关键力量。尤其随着 Manus 的火爆出圈,MCP Server 也备受瞩目,迎来了飞速发展,短短 1 个多月时间,数量已超 5000 个 。 继续阅读……
26 Mar 2025 Posted in 智能运维
昨天看到安全村 SecUN 公众号上发表了一篇署名为奇安信副总裁张卓的文章:《通过DeepSeek现象思考大模型落地的正确路径》。文章很长,内容很多,看起来非常扎实。但其中一些技术细节和数据,值得商榷。 继续阅读……
17 Mar 2025 Posted in 智能运维
因为 deepseek 的母公司幻方做量化基金的缘故,相当多的一大批大模型新用户们,想当然的认为大模型可以用来炒股!一些半懂不懂的 IT 从业人员,也觉得大模型完全可以用来处理时序指标数据。一些运维的公众号软文里,已经开始写怎么用 deepseek 做监控——那么,大_语言_模型,直接读监控指标,真的可行么? 继续阅读……
05 Mar 2025 Posted in 人工智能
最近,上海寸屋拉面店在门口打出的广告爆红网络,广告内容很神奇,是该店被DeepSeek推荐为“上海最好吃的日本拉面TOP1”: 继续阅读……
06 Feb 2025 Posted in 日志易分析
过年前后,deepseek 大火特火的时候,安全圈突然爆出 deepseek 的数据库泄露了!研究团队的原始内容参见:https://www.wiz.io/blog/wiz-research-uncovers-exposed-deepseek-database-leak。 继续阅读……
28 Dec 2024 Posted in AIOps
上一篇《Splunk Conference 2024解读》里,我提到 grafana 和 splunk 都在探索怎么降低 trace 的存储空间。今天展开聊聊。 继续阅读……
27 Dec 2024 Posted in 日志分析
Splunk Conf24 最近公开了分享内容,这是 Splunk 被 Cisco 收购后的第一次年度技术大会。我看了一遍,大概总结有这么几个要素: 继续阅读……
19 Aug 2024 Posted in 产品经理
toB 软件由于专业性较高,很难像 toC 软件那样上手就玩。于是软件使用文档写得好不好,相对来说显得比较重要。我们经常可以看到类似的抱怨:“这文档写的,完全看不懂”。 继续阅读……
02 Aug 2024 Posted in LLM
前段时间,阿里开源了qwen-agent,可以对长文档进行 RAG 增强的对话问题。但在对话之前,还缺了第一步——人们总是习惯先问一句“总结一下这篇文档说了什么”,然后再根据总结来具体提问。“长文总结”,其实是大模型应用要过的第一关。 继续阅读……
29 Jul 2024 Posted in 产品经理
“完成优于完美”不仅仅是一句口号,更像是Datadog技术作者的座右铭。毕竟,谁不想在“完美”的文档上留下自己的痕迹呢?😉 继续阅读……
26 Jul 2024 Posted in LLM
日志易 Text to SPL,从广义概念上属于 Text to SQL 的一种变体。经过接近一年的尝试探索后,我们的第一个正式版即将推出。正好我在 AiDD 上海站听了好几家 Text to SQL 的分享,发现他们的各种路线我们都尝试过了。这下也更有信心,可以给大家分享一下我们的探索过程。 继续阅读……
25 Jul 2024 Posted in LLM
关注 AIOps 日志算法的读者朋友们可能都知道,在日志解析方面,香港中文大学开源的 Drain 在几年前基本已经一统江湖。就连 elasticsearch 的 categorize_text aggregation 实现也使用了 Drain 算法。 继续阅读……
19 Mar 2024 Posted in LLM
大模型火起来已经一年多,大家应该已经见过很多prompt提示工程和SFT微调训练的文章,但讲预训练的少之又少。原因也简单:没这么多显卡和数据。 继续阅读……
10 Aug 2023 Posted in LLM
很多人都说,一切软件都应该用大模型重构一遍。这几个月,我也在探索类似的话题:运维软件,应该怎么用大模型来“重构”一遍呢? 继续阅读……
08 Apr 2023 Posted in LLM
话接上回,今天给大家介绍 ChatGPT “能好怎”中的“好”字诀——Schillace’s Law。 继续阅读……
07 Apr 2023 Posted in LLM
越来越多的人开始尝试使用 ChatGPT 了,随之而来的是一些质疑的声音:“感觉 ChatGPT 没多厉害啊?这也不会那也不会……”这其实很正常,所有新技术在成熟运用之前都要经历类似的炒作曲线。恭喜大家进入冷却期,也就是要开始真正掌握这门技术了。 继续阅读……
06 Mar 2023 Posted in LLM
上一篇介绍了 BLIP2 多模态模型没多久,今天又有多模态领域的大新闻,微软发表了一篇论文,介绍自己的Kosmos-1 多模态模型。不过论文没提供在线 demo 可用,只能直接阅读论文了。 继续阅读……
15 Feb 2023 Posted in LLM
ChatGPT 火热的情况,感觉好像强 AI 近在眼前。但实际上,ChatGPT 代表的 LLM 重点只是在文本生成。还有大量的其他场景,其实也有算法在飞速进步。比如 stable-diffusion 实现的 text2img,比如 text2song,还有 openai 新出的 Point·E 做 text to 3D 等等。 继续阅读……
14 Feb 2023 Posted in LLM
随着 ChatGPT 用得越来越多,逐渐掌握它的最佳和最差实践。总结的看,既不能小瞧 ChatGPT 的跨越式进步,也不能过于神话 ChatGPT 的功效。用好 ChatGPT,还是有较高的用户门槛。我归纳几条使用 ChatGPT 之前一定要牢记的概念。 继续阅读……
14 Feb 2023 Posted in LLM
这篇标题我想了很久,还是决定用这个稍显直白的说法。是的,本次实验让我对 ChatGPT 的后端到底有多严格的规则过滤有了深度认知,ChatGPT 不可能直接为中国服务——换句话说,BAT 们要加油啊,你们有机会证明自己不只是商业模式创新了。 继续阅读……