Google搜索即将消亡。接下来的可能更糟

810分 · The Walrus

Vass Bednar在The Walrus的文章中指出,AI正在蚕食开放网络,互联网的集体记忆正在消失。文章的引子是:Google的AI概述现在正在生成日落时间的幻觉——这是一个有确定答案的查询,因为系统从抓取的内容中生成回应,而不是指向原始来源。计划户外活动的用户正在从本应使搜索更有效的系统中得到自信但错误的答案。

更广泛的论点是,Google的AI摘要正在削弱使网络值得被索引的激励结构。出版商失去流量,创作者失去归属感,用户得到的是知识的概率性近似,而不是经过验证的来源。The Walrus将此描绘为加拿大媒体的故事——本地出版商目睹其推荐流量的消失——但动态是全球性的。当垄断信息发现的搜索引擎决定将用户留在自己的页面上时,对新闻业、独立博客和专业参考站点的下游影响是根本性的。

文章揭示的不舒适真相是:我们构建了人类历史上最全面的知识基础设施,然后将其控制权交给了一个以最大化其自身属性上的参与度为收入模式的公司。标题中的“下一个”指的是AI原生的搜索引擎初创公司,但真正的担忧不在于你使用哪个界面——而是被总结的内容是否会继续存在。


针头2:14MB的代理LLM,适用于手机、可穿戴设备和智能家居

495分 · Cactus Compute

Cactus Compute发布了针头2,这是一个开放的4500万个参数的模型,用于工具调用、设备控制和结构化提取。整个模型是一个单一的14MB二进制文件,在28MB的RAM中运行。它基于他们的简单注意力网络架构,经过Cactus Quants压缩到CQ2位,并附带自己的推理引擎——没有外部运行时依赖。

在基准测试中,针头2在模型大小为5倍到70倍的模型(FunctionGemma 270M、LFM2.5 230M、Apple FM)之间进行权衡,以2位精度与fp16竞争。声称的吞吐量:在Raspberry Pi 5上每秒解码500个令牌,在Meta Quest 3S和Apple Vision Pro上的400到1500个令牌,在200美元以下的手机上300到700个令牌。峰值会话RAM约为28MB,使其能够达到较新的微控制器如ESP32-S3的范围。

演示令人印象深刻——多步骤工具路由、设备控制、表单填写和拒绝无关查询,全部在浏览器中以WebAssembly运行。问题是“工具调用”在14MB的模型中是否意味着可靠的结构化输出,还是只是通过受控演示来展示。他们引用的基准测试(Mobile-Actions、BFCL)是合理的选择,但现实世界中的代理循环比评估套件要复杂得多。尽管如此,大小与吞吐量之间的权衡是真正新颖的。如果你正在为嵌入式系统构建现场AI,这值得认真考虑——替代方案是发送一个270MB以上的模型或完全放弃本地推理。


英格兰即将消除丙型肝炎

427分 · BBC

英格兰正走在成为第一个消除丙型肝炎作为公共卫生威胁的国家的道路上。已知病例的80%治疗目标已经实现,过去十年中因该病毒死亡的人数下降了36%——仅略低于世界卫生组织2030年消除目标。现代抗病毒药物在8到12周的片剂治疗中治愈了超过95%的病例。

该计划的成功关键在于积极的病例发现:在急诊科进行测试,在无家可归者群体和注射毒品者中进行外展,并在监狱中进行选择性筛查。这些是传统医疗系统经常遗漏的人群。BBC的文章指出,英格兰领先于大多数可比国家,这与其说是英格兰的卓越,不如说是大多数国家在解决现在技术上可解决的问题时执行得不够好。

300多条评论表明,这引起了强烈共鸣。丙型肝炎的消除是那种当它起作用时人们看不见的公共卫生胜利——没有人庆祝没有发生的肝癌。更广泛的经验教训是:当结合一种真正有效的治疗方法(直接作用抗病毒药物是奇迹)与系统性的筛查基础设施时,消除是可行的。瓶颈从来不是科学;而是物流和政治意愿,以达到最难触及的患者。


H3-Metal:原生MiniMax-H3推理,适用于Apple Silicon

405分 · antirez/h3.c

Salvatore Sanfilippo——Redis的创始人,现在似乎在为Apple GPU进行原生视频生成——发布了H3-Metal,这是一个原生推理引擎,用于MiniMax的H3模型在Apple Silicon上。该项目从文本提示生成视频和音频,具有首尾帧条件和有序参考图像支持,所有这些都直接在Mac硬件上通过Metal运行。

构建结构化为垂直切片:确定性元数据首先,然后是Metal块校验和,提示编码,提示到视频/音频,以及帧条件。当前状态是这些功能全部端到端工作,对M3 Max和M5 Max正在进行持续优化。交互式CLI会话允许您生成视频、设置种子、调整帧数并链接参考图像——这实际上是一个单独项目的开发体验,但基本上是反向工程一个专有模型的推理路径。

这里的意义不仅在于MiniMax H3本身,而在于模式:一位世界级的系统程序员花费时间使一家中国AI公司的视频模型在Apple硬件上原生运行。当推理层变得商品化时,有趣的工作转向使其在特定硅片上变得更快。README的42000多行代码表明,文档工作非常严谨。


从专有LLM API窃取推理痕迹

348分 · Stolen Thoughts

一个研究团队展示了如何通过两步API攻击从Anthropic、OpenAI和Google的加密链式推理痕迹中恢复明文。方法是:从前沿模型(例如Claude Opus)中提取加密的推理痕迹,将其重放至同一提供商的较弱兄弟模型中,然后破解较弱模型以恢复较强模型的隐藏推理——而无需直接攻击较强模型或触发其反提取保护。

研究人员展示了这些加密的推理块可以在会话、用户和模型之间重放。攻击利用了事实:推理痕迹上的“加密”更多的是混淆而不是加密——这些痕迹可以作为输入馈送到共享相同标记化和推理格式的相关模型中。从那里,较弱的模型可以被提示继续或解释推理,从而解码它。

这对于任何正在围绕推理能力构建竞争壁垒的人来说是一个重要的发现。如果您的链式推理可以通过购买自己系列中较便宜模型的API访问来提取,那么推理痕迹不是一个商业秘密——而是一个泄漏的抽象。论文指出了所有三个主要提供商的具体模型。实际影响是:如果您向客户提供加密的CoT,您实际上是在向竞争对手提供您的推理。


鸡肉Scheme 6.0

291分 · code.call-cc.org

Chicken Scheme 6.0是一个长期期待的重要发布。主要变化:内部字符串表示现在是UTF-8(全面支持Unicode),所有R7RS-small模块现在在核心系统中可用,字节向量取代了旧的blob类型,具有R7RS兼容的操作。这是一个重要的现代化——Chicken是最后一个默认使用拉丁-1字符串的主流Scheme实现。

其他值得注意的变化:进程管理现在返回进程对象而不是原始PID,文件锁定使用flock(2)并且是线程安全的,以及端口构造器接受关键字参数。make-binary-input-port和make-binary-output-port的添加是实用的——在二进制I/O之前是困难的。字符串上的局部变量现在按代码点而不是字节索引,这是Unicode意识系统正确的行为。

Chicken一直占据一个有趣的利基市场:一个编译为C的Scheme,作为一个共享库分发,并且与C生态系统友好。6.0版将它提升到了现代语言基准的期望(Unicode,R7RS兼容性)而不会破坏使其嵌入有用的编译模型。对于291个点赞的人来说,这可能不是关于任何单一功能,而是关于一个受人喜爱的利基语言证明它仍然活着并发布有意义的版本。


Apple Silicon虚拟机:使用llama.cpp实现11-16倍的LLM推理加速

254分 · trycua/cua

Cua团队(macOS虚拟化堆栈)发现,Apple的Virtualization.framework向来宾虚拟机报告保守的GPU能力配置文件——具体来说,是一个第五代Apple家族的配置文件,最大线程组内存为32KB,没有SIMD组矩阵支持。这迫使llama.cpp即使在主机GPU支持更新功能的情况下也走较慢的Metal代码路径。他们的修复:一个进程范围的Metal能力 shim,拦截能力查询并返回准确的值。

结果是戏剧性的。在M1 Ultra上使用TinyLlama 1.1B:提示处理从431 tok/s(标准虚拟机)提升到4,786 tok/s(解锁)——加速了11倍,接近裸金属性能的98%。令牌生成快了16倍。使用Gemma 4 12B QAT,解锁的虚拟机达到了裸金属提示速度的99.59%。即使Meta的Muse Glimmer 30B也分别在提示处理和生成方面提高了7.5倍和8.8倍。

巧妙之处在于这并不是实际的GPU直通——它仍然通过Apple的虚拟GPU路径运行。shim只是告诉llama.cpp硬件实际支持的Metal功能,因此它选择最优内核而不是保守的回退。这可能是每个运行Metal工作负载的Virtualization.framework用户都可能遇到的错误,而不仅仅是LLM推理。源代码已发布,以便其他人可以验证并扩展这种方法。


英特尔的风险业务

232分 · Stratechery

Ben Thompson以Jay Cooke和北方太平洋铁路为例——一种融资方案,慷慨的佣金驱动了对零售投资者越来越有风险的债券销售,最终导致了1873年的恐慌。与Nvidia当前地位的类比是贯穿始终:一家其成功创造了可能将其推向结构性风险领域的激励机制的公司。

Stratechery的论点(付费墙后面,因此这是来自免费部分的内容)将Nvidia置于一个转折点,其在AI加速器方面的主导地位正受到客户自行设计的挑战(Google TPU、Amazon Trainium、Microsoft Maia)以及推理市场碎片化到边缘设备、手机和专用硬件。Nvidia的回应——扩展到软件平台、网络(Mellanox)和云服务——反映了历史上一个硬件公司担心商品化的垂直整合举措。

232分表明了适度的兴趣,可能分为两类人:认为Thompson夸大了Nvidia的风险(其收入增长仍然非常惊人)的人,以及认识到这一模式的人:当你的最佳客户成为你的竞争对手时,最终的利润率会跟随。Cooke的类比是恰当的——不是因为Nvidia会崩溃,而是因为以当前利润率销售AI基础设施会吸引那种会随着时间的推移压缩这些利润率的竞争对手。


通过线

今天的HN首页讲述了基础设施达到极限并以不同的规模重建的故事。The Walrus的文章展示了信息基础设施(Google搜索、开放网络)被它所启用的AI系统蚕食。针头2和h3-metal代表了反向运动:将推理基础设施推到最小的硬件和Apple Silicon上。Cua虚拟机的研究结果揭示了Apple自己的虚拟化基础设施甚至在无声地瓶颈化人们最关心的工作负载。

窃取推理痕迹的论文切中要害:它暴露了加密的链式推理不是竞争壁垒的假设。如果您的推理可以被较便宜的模型重放并解码,那么Anthropic、OpenAI和Google正在提供的整个“推理痕迹”功能就是一种安全表演,而不是知识产权保护。这立即对任何依赖这些API的人来说具有重要意义——您的提示工程秘密可能通过API访问相关模型的人提取。

Chicken Scheme 6.0和英格兰的丙型肝炎消除是安静的胜利——一个利基语言正在更新其基础,一个公共卫生系统正在执行一个可解决的问题。两者都是提醒:在基础设施上进行无聊但持续的工作(无论是Unicode支持还是选择性监狱筛查)会以闪亮的发布所无法比拟的方式累积。与此同时,Thompson对Nvidia的分析询问该公司是否正在为AI淘金热建造的工具和铲子本身过度扩张。答案可能取决于您是否认为AI基础设施需求是一个铁路泡沫或一个真正的范式转变——而历史表明,它总是两者兼有。