Fudan University-backed MoSi raises over 1 billion yuan in Pre-A round to teach AI human emotions and context

文 | 孙小雯 海若镜 编辑 | 海若镜 人的喜怒哀乐忧惧，对AI来说，重要吗？ 与人交谈时，我们会留意他的语气、停顿、表情，边听边想对方的真实所思。但当交流被整理成提示词文本，很多情绪信息会被过滤掉。 模思智能，这家由邱锡鹏教授（复旦大学特聘教授、上海创智学院副院长）创办的模型公司，一直在意AI的情绪感知能力。 在模思智能CEO李世民看来：AI要理解用户的意图，需要把用户说了什么、周围发生了什么，以及此前的交互联系起来。情绪也是其中的一种情境信号。比如用户突然结束了与AI的对话，可能因为任务已经完成，也可能因为AI答错了、让人不耐烦。这种反馈，藏在语音里、语气中，及更广泛的情境中。 他们想实现的“情境智能”，是让AI能够持续理解现场：谁在场，之前发生了什么，现在是什么环境，人正在做什么，接下来可能要做什么。但完整实现这种智能感知和预测，仍有很多难题待解。所以，模思智能选择先把交互模型作为工程化入口——让模型能理解、生成语音和视频等多模态，并可实时交互。他们把这套系统命名为MOSS Live。 「暗涌Waves」独家获悉，模思智能近日完成超10亿元Pre-A轮融资，由华控基金联合领投，主要投资方包括国开科创、上海科创基金、新微资本、徐汇资本、追光硬科技创投、临港策源基金等，元禾控股、上海国投旗下上海科创集团、星连资本等老股东持续投资。本轮资金将用于全模态实时交互系统研发与全球商业化落地。 早在2023年初，邱锡鹏带领团队推出了类ChatGPT的语言模型MOSS，迅速登上热搜被广泛关注。当时就有投资机构邀请他们创业，但团队没有立即出来。 同年，这支团队研发了端到端语音大模型SpeechGPT，尝试让模型理解和生成语音，并保留声音中的情绪、语速、音色等信息。2024年，其开发的AnyGPT，探索让模型能处理更多不同类型的模态信息。 沿着这条研究路径，情境智能的目标渐渐清晰。要实现这一目标，模型就必须进入到现实情境中去，在现场获得客户的真实反馈，反哺模型。2024年底，这支团队终于孵化创业，成立模思智能，由SpeechGPT核心作者、年轻的复旦博士李世民担任CEO。 李世民告诉我们，过去半年多，模思智能团队发布迭代了20多个模型版本，包括语音生成、音频理解、视觉理解等。他讲了与B端客户一起打磨交互模型的经历，真实情境的需求不同于学术指标，客户要准、快，还要便宜。这些约束，也改变着模型架构和推理框架。 至于当下热门的AI for AI，他认为这不是新事物、也不是壁垒，过去许多团队都用AI加速模型研发。如今，单点模型的领先可能很快被追上，但如果模型能快速进入产品，真实场景反馈又能变成下一轮训练材料，系统迭代速度可能拉开差距。 他们在做的实时交互模型，与日常已用的语音助手有哪些不同？如今距离情境智能，还缺着哪些能力？智能座舱等终端客户到底想要怎样的AI模型？这家成立两年的公司为什么能融到10亿元？ 以下是「暗涌Waves」与模思智能CEO李世民的对话，经编辑整理：   让AI理解“现场” 「暗涌」：模思一直强调“情境智能”，这里的“情境”到底怎么理解？ 李世民：我们理解的情境，英文也是context，但它比大模型里常说的“上下文”更泛化。 真实物理环境里的信息，其实是持续不断流入的。这里有什么人、有什么东西、刚才发生过什么、人与物时空关系如何，这些我们都认为属于情境。 有个很简单的例子，大家都有过找钥匙的经历。如果你突然问AI：“我的钥匙放哪儿了？”假如AI只能看到你当下的这一帧，它自然不知道答案；但如果它一直在持续接受环境的视频流，就可能看到你进门后把钥匙放到了哪里，后面人离开了、东西有没有移动。 拥有情境智能的AI回答问题，依赖的是此前持续积累下来的情境感知能力，而不是提问那一刻获取到的信息。 「暗涌」：听起来，像一个随行的AI助理。现在大家期待的不止是拟人对话，还希望AI像人一样，能在物理世界更自主。 李世民：我们选择面向智能终端提供交互能力，底层逻辑就是要AI像人一样和物理世界交互。在真实环境中，人会停顿、改口；周围的声音、画面和环境状态也会一直变化。 最终AI一定会进入眼镜、车、玩具、机器人等终端，在这些地方，人不会每次都先整理好一个Prompt，完整告诉AI自己要什么。 真正的情境智能，需要双工交互，输入和输出是并行的，模型能够边看、边听，接收信息的同时也能给出反馈。所以，下一代AI会从“回答问题”走向“持续在场”，能持续理解人和环境，并在合适的时候回应、行动。我们现在做全模态实时交互，就是在解决这件事。 「暗涌」：可以举例讲讲，全模态实时交互，跟大家熟悉的AI语音助手有哪些不同吗？ 李世民：真正的交互系统，要解决的是信息怎么同时进来、怎么互相影响、怎么在场景变化时持续更新。 比如一个人在车里说了句“有点冷”，只做语音识别，识别出这三个字就结束了。但真正的交互智能，要知道现在车里多少度、谁在说话、车辆是什么状态、说话人过去的偏好是什么，最后判断这句话只是描述感受，还是希望AI调一下空调。 我们真正关心的是 AI 能不能理解现场。 「暗涌」：邱锡鹏教授团队最早走红网络是2023年的语言模型MOSS，后面转向“语音理解和生成模型”，再后来又加入视频。这些都是为了接近“情境智能”的目标吗？ 李世民：在创立模思之初，我们对情境智能有这样的描述：AI能够充分感知、理解复杂的物理情境，并在交互过程中持续提升模型能力。 最初我们更强调前半句。AI与物理世界最自然的交互方式是语音，所以我们先从语音入手，先让模型听懂用户的语气和情绪。用户打字、用文本表达的话，语气情绪等信息都会丢失。 2025年，我们的语音模型能力已经做到相对领先，就开始把“视觉理解”集成进来，让模型既能听懂，也能看清物理世界。 现在，我们会更多地强调后半句，“在交互中持续提升模型能力”。随着基础大语言模型、多模态模型逐渐成熟，我们也正往更加全面的多模态交互推进。 交互智能，是重要的工程入口。如果AI没有理解情境，会在交互里暴露错误。做交互模型，是在把情境智能做进系统里。 「暗涌」：那么目前的多模态交互模型，做到哪一步了？你们最近提出了MOSS Live，具体怎么理解？ 李世民：过去半年左右，我们陆续发布、迭代了20多个模型版本，覆盖语音生成、音频理解、语音识别、视觉理解和内容生成等环节，也在持续开源。 一些模型在特定任务上已经取得了比较好的效果。比如MOSS-Audio除了理解用户说了什么，也能分析他说话时的情绪、语速和状态，甚至声音里细微的抖动； 多说话人语音识别模型MOSS-Transcribe-Diarize-0.9B，在一些特定任务上的效果可以超过参数量更大的模型。 现在正处在把过去诸多单点能力接成系统的阶段。我们更愿意把MOSS Live理解成一套实时交互系统。这套系统里，有交互模型，也有能动性模型。交互模型持续看、听、说，理解当前的人和环境；能动性模型负责更复杂的推理、工具调用和任务执行。 「暗涌」：模思为什么还要做视频生成模型？这个赛道也很卷。 李世民：这要和视频理解放在一起看。在我们的技术体系里，理解和生成是相互促进的。 比如训练视频生成模型，需要先把视频里的内容准确地描述、标注出来，这就依赖理解模型的能力。理解模型还可以帮助评判生成内容的质量；反过来，生成模型的效果，又能帮助我们验证理解模型的能力。这两件事在底层有很多共通的积累，包括音视频数据、数据处理管线，以及训练和推理的基础设施。我们做视频生成，也复用了此前在语音和音视频理解上积累的能力。 所以我们会把理解和生成放在一起迭代，最终服务于全模态交互这个目标。 「暗涌」：要实现理想中的AI情境智能，难点主要是哪些？ 李世民：核心主要有几点。第一，对音视频流的持续理解能力和双工交互。让模型在信息输入侧跟输出侧并行，能边看、边听、边说。 第二，记忆能力，不仅包括历史画面，还要能够在交互过程中对长时间信息进行编码，并在交互中更新。 获得这些信息之后，还要理解用户的意图，在输出动作之前做规划和目标拆解。这部分目前的语言模型和agent已经做得不错。 最后，还要考虑怎么从真实交互的反馈中改进。这跟coding任务不同。coding任务可以直接从代码是否运行正确来判断结果，但在现实生活中，反馈其实没有那么明确。用户不一定会直接说“你错了”，而是生气，或是直接沉默了。这个时候模型就需要结合更多的情境信息分辨。 这些问题在当前的交互模型里，都还没有被很好地解决。   用户需求，改变AI模型 「暗涌」：早在2023年你们就做了端到端语音模型SpeechGPT，当时外界的反馈主要是怎样的？ 李世民：大家觉得范式很新，但也有质疑。 当时，端到端语音最明显的优势是降低时延，能保留更多语音里的非文本信息。但真正到用户场景里，它的代价也很明显：模型参数量大，部署成本高；为了降低时延，在一些特定任务上的效果反而不理想。所以有些客户反而希望我们做一套更智能的三段式方案，先把他们的实际问题解决好。 直到2024年GPT-4o出来，大家才理解端到端语音的价值，是让交互更自然。这件事对我启发比较大，我们可以靠技术和认知去做出新的模型范式，但最后还是要和真实的用户场景结合，才能产生更大的用户价值。所以我们决定在2024年底出来创业。 2025年我们做了很多单点模型，包括多说话人的语音识别、音频生成、单独的音频理解，很多技术选型，都会根据实际市场反馈去调整。 「暗涌」：现阶段，你们也在和一些B端用户做联合开发。主要有哪些用户需要全模态的能力？ 李世民：我们目前主要接触的是智能终端客户，包括智能座舱、AI智能硬件等。它们的使用场景不同，但对模型有一些共通的要求： 理解用户说话的内容，也要结合语气、周围环境和之前的交流，判断用户的意图；在拟人度、流畅度上表现更好；以及具备Always-on的体验，用户可以随时唤醒AI、跟它交互。 这些需求在不同终端上表现不同，但底层需要解决的理解和交互问题有相通之处，所以模型能力可以在不同场景复用。 「暗涌」：目前的智能座舱大多都有语音交互，已经能即时响应一些需求。但座舱内的多模态交互，会是刚需么？ 李世民：要看客户希望座舱里的AI做到什么程度。像开空调、调音量这样的明确指令，现有语音交互已经能解决不少问题。但我们看到的一些客户需求，已经涉及更连续、更复杂的交流。比如车里多人交谈时，用户跟其他人说话，不希望触发语音助手；跟语音助手实时交互时，用户话说到一半，可能正在思考，不希望被AI打断；打开车窗后，风声、鸣笛声等，如何避免背景音误触发。这些都是我们当前正在做、一些现有座舱语音助手还没有解决的问题。 打磨这些具体的细节，让模型知道什么时候应回复用户、什么时候该沉默，做到这些，用户能感觉到AI突然聪明了很多。 在此基础上，一些客户也希望模型能够同步理解视觉和音频信号。因为单靠声音，AI获得的现场信息仍然有限；加入视觉，可以补充对周围环境的理解，帮助模型判断用户的意图。对于想提供持续交互体验的座舱，多模态就有了具体的用途。 「暗涌」：终端的算力能支撑得住么？ 李世民：我们会根据不同场景设计不同大小的模型。 比如端到端的语音转录模型，如果是用于具身机器人、小型AI硬件、手机等，对时延要求高，且端侧芯片的算力有限，可以用0.9B的轻量级模型，提供本地服务。 同系列我们也有旗舰版模型，可以完成长音频多人转写、说话人分离和时间戳标注，主要通过云端提供服务。这个版本更适合对时延要求没那么高、但希望获得更强模型能力的场景。比如内容生产、线上模态交互，或是客服、医患交流的内容和质量分析。 「暗涌」：来自用户侧的需求那么多，你会怎样判断哪些值得投入研发？ 李世民：现在判断一个技术是否要深度投入，首先还是需求导向；第二个标准是有没有可复用性，是只有一个客户有需求，还是很多场景底层解决的是同一个问题；第三，它是不是还在情境交互智能的目标主线上。 我们会看这个项目除了收入以外，对模型能力有没有帮助，做完以后这个方案能不能迁移到其他客户。比如一个AI硬件或者终端场景，如果它能帮助我们迭代交互模型、双工模型，这种项目我们会优先做。