出品 | 51CTO技术栈(微信号:blog51cto)
3月20日,Kimi概念股直接涨停。泼天的流量蜂拥而至,打得猝不及防,一时间难以接驾,以至于一大早9点半开始,Kimi就宕机了。即便月之暗面的技术团队已经应急进行了5次扩容,依旧对这突如其来的“宠幸”应接不暇。月之暗面发公告称:这种情况预计会延迟到25日。
图片
经《科创板日报》记者测试,月之暗面旗下大模型应用Kimi的App和小程序均无法正常使用。此前,月之暗面发布情况说明:从 2024.3.20 9:30:00 开始,观测到 Kimi的系统流量持续异常增高,流量增加的趋势远超对资源的预期规划。
这导致了从 2024.3.20 10:00:00 开始,有较多的SaaS客户持续的体验到 429:engine is overloaded的异常问题,并对此表示深表抱歉。
图片
“作为一家以技术为导向的公司,我们非常理解一个API的稳定性是能否投入实际生产的最关键因素之一,已经有多项应急措施正在实施,包括不限于:从3月20日观测到流量异常增高后,已经进行了5次扩容工作。推理资源会持续配合流量进行扩容,以尽量承载持续增长的用户量;设计了一套更有效的SaaS流量优先级策略,以保障付费用户的调用稳定,预计3月25日之前完成并上线。”
1.真正让用户用得爽的大模型对话:开启“长文本”时代
3月18日,月之暗面宣布了最新的重大技术升级:上下文窗口由20万字提升10倍到200万字。200万字,这是怎样一种概念?
对于爱阅读的朋友而言,相当于2~3套《三体》全本,对于学法律的朋友而言,则相当于117部宪法的长度,对于高中生而言,相当于一下70本语言教材。
这些只是数字,更为打动人的是,这么长的窗口才是大家使用生成式AI产品“最舒服”的窗口长度,月之暗面(现在已改名Kimi大模型)已经找到了这个临界尺寸。
200万字的无损上下文窗口是符合用户使用习惯的临界点。太短的上下文窗口限制很难迎合用户一次就想搞定解决问题的冲动和习惯。
这样就可以批量处理涉及诸如比较、总结、概括、筛选等许多频繁的文字处理工作,这一点是找对了用户使用场景的痛点。
来源:AIGCLINK
而拥有200万字以后,体验就变得非常耳目一新了。Kimi 可以帮HR批量筛选出符合条件人才简历,可以帮研究人员快速整理多篇相关论文的创新点等等。
2.Kimi:总结归纳的利器
3月,Kimi Chat改名为Kimi智能助手,同时Moonshot大模型改名为Kimi大模型。“以后只要记住Kimi就够了!”
打开Kimi官网,你会发现非常多与其他大模型产品的不同之处,其中最为明显的就是它可以支持上传多达50个100M以内的文件,这个要比国内外大多数大模型产品都要牛逼。
图片
Kimi的主要功能是进行基于文本的信息检索、数据分析、语言翻译等工作。虽然支持上传图片格式的文件,但仍然围绕着文字提取和总结,并非提供多模态功能。
图片
3.实测:RAG技术非常友好
Kimi采用的RAG检索增强生成(Retrieval-Augmented Generation)技术,这一技术能让Kimi根据用户提供的prompt进行网页搜索,获得更多参考资料以提升生成回答的精确度和内容质量。
图片
从上面的案例可以看到,拥有RAG能力的Kimi可以帮助用户降低搜索信息的成本,同时搜索使得Kimi大模型能够访问最新的外部数据,保证回答内容的时效性。
由于网页内容的多样性和理解复杂语言带来的困难,Kimi对搜索信息的总结不能排除幻觉出现的可能。但是他提供的资料让用户可以方便的追溯到具体的信息源,从而对AI生成内容进行检查和优化。
4.比ChatGPT好用?
正如AIGCLINK社区测评后对升级后的Kimi所说, 最大的亮点还是超长文本窗口,实测并没有外界所说的神乎其神,要客观看待!
图片
同时,实测视频中也指出,Kimi在英文翻译能力不如ChatGPT。
当然, 也有资深的AI研究人士表示,Kimi对于数学题,也并不那么擅长。
图片
小编也实测了一道奥数题,文心一言答对了,但Kimi似乎有点把自己整懵了。
图片
然后,推理能力也不太擅长。
图片
同样的问题,放在通义千问,得到了正确的回答。
图片
据悉,有字节的朋友也晒出测评:1万长度的时候就开始出现幻觉了!
图片
5.不一样的Kimi:年轻、技术信仰、最晚考虑商业化
2024年,是大模型公司落地、应用之年,大模型CEO们从开年之后,就一直处于理想与现实的剧烈拉扯之间,中国互联网素来充斥着商业化的声音,而这位月之暗面却非常独特:AI研究员背景的年轻创始人、头部国产大模型独角兽中人数最少的一家(只有80人),没有选择对手们认为更稳妥的to B生意,也没有在在医疗和游戏等细分场景中找机会,而是选择做且只做了一款to C的对话产品——智能助手Kimi,没错,Kimi也是杨植麟的英文名。值得感叹的是,杨植麟倾向于将他的公司看作是构建一个结合科学、工程和商业的系统。
3月中旬,Kimi迎来了重大升级,上下文窗口已经支持200万汉字输入,这一下点燃了用户对于生成式AI技术的使用热情。(最新的Geimni 1.5,也只有100万tokens)
图片
6.写在最后:大模型应用落地的两个条件
月之暗面是AI领域新秀,也是资本的宠儿。之所以能赢得资本热捧,锚定长文本无损压缩是其中关键因素之一。固然在数学解题和多模态能力暂缺或稍弱,但其长文本处理能力却的确让人眼前一亮。
杨植麟曾公开表示,长文本作为公司“登月”的第一步,是新的计算机内存,很本质,个性化并非通过微调实现,上下文定义了个性化过程。杨植麟还认为,大模型“马拉松刚开始,接下来会有更多差异化”。
银河证券认为,2024年AI应用元年有两个条件:1、大模型达到可使用状态:这点从Kimi用户好评如潮中可以看出;2、大模型公众可触达:目前Kimi已经面向全社会开放使用。Kimi智能助手是AGI进程中的不可忽视的地标之一,或许意味着大模型将正式进入“长文本时代”。
期待未来Kimi给我们带来的惊喜:“每一次,都集中全力!”