产品经理【真】高频面试245题面试题库及回答思路
一、项目/产品经验类（68）
1、请介绍一下你做的比较好的项目
因为每个人的具体项目不一样，仅提供回答思路，用你的项目经历往里套用。
💡
【对齐标准】先给“好”下定义，和面试官对齐“好”的价值衡量标准，告诉面试官你对于“好”的评价标准。
比如：
你的产品做了3年了，而且期初就是自己从0-1建设，且持续在迭代
产品本身的价值，是人无你有，还是人有你优
产品的业务价值高，比如对于你的用户提效降本减人的量化指标是什么；你做的ai项目最后出来的模型效果指标是比较好的
拿到了比较好的商业化结果，或者通过产品去和其他部门形成了有效协同等等
2、【通过标准匹配核心工作】基于1，从你定义的好的价值标准，去匹配你的项目和你的核心工作：
比如0-1做的产品：怎么实现0-1，做了产品架构、产品规划等核心工作，目前产品已经持续迭代了多少版本，用户规模有多大……
产品价值：比如产品是投研数据平台，你的数据平台中数据指标多，覆盖面广，数据指标体系完整等等，用量化指标去证明
业务价值：产品给用户带来的业务价值的量化指标，降本多少，提效多少。AI问答产品用户满意度……
商业化结果：收入、利润、用户规模、留存等指标
产品同时支撑其他业务部门，比如投研数据平台在券商内部，需要支持固收部门、财富部门的业务的，你的产品的影响力够高，其他业务部门都需要依赖你等
3、【方法论沉淀】做产品的过程，形成的sop、方法论或可复用的经验：
举例：我作为ai产品经理从0-1：从数据集构建，到提示词，到模型效果评估这一整套完成流程中，你的数据集的标注规范、提示词的优化逻辑和技巧形成了方法论在内部分享和沉淀，供其他产品经理和团队内共享。
2、你为了达成DAU，转化率等业务目标，你的核心动作有哪些？
开放式问题主要是考察回答体系。因为每个人的具体项目不一样，仅提供回答思路，用你的项目经历往里套用。一般是互联网平台To C产品经理才会问这个问题。
💡
千万不要上来就讲为了达成指标你做了哪几个核心动作。先答回答框架，再在框架下依次回答问题。
1、【明确背景】找出以下两个决定性因素：
高客单价产品 or 低客单价产品
转化渠道：公域平台 or 私域，如果是私域是哪个私域场景下的转化
比如你说：我负责的这块产品主要是：低客单+公域电商平台
2、【核心工作】拆解动作：产品手段+运营手段。
产品手段：
转化路径设计：
◦
对转化路径和要素进行拆解：确保从找商品-加购-下单的路径是顺畅，路径短的，没有太多跳转逻辑和门槛，提升每个环节的转化率：比如商品搜索入口、加购；包括你的会场拼团、抢购下单的转化路径设计等
◦
不同用户的转化路径设计是否有差别：需要考虑人群匹配，对需求不敏感，是否会个性化推荐，如猜你喜欢、包括搜索结果的匹配等
满足用户决策逻辑，商品功能基本保障：
◦
不同商品的决策参数，如生鲜、烘焙、日常用品等不同品类的产品的要素完整且存在差异化，需要能够很好的解决用户的购买疑虑，包括商品的用户评价等
◦
在铺货量提升、缺货量上的下降，从供应链维度对用户转化做的基本保障
用户心智建立及外力刺激：低客单价产品面对的是价格敏感型用户，所以需要外力刺激形成冲动消费，如你做秒杀会场，破价，抢购氛围的营造，优惠券，满减等
运营手段：
配合转化活动，创造转化场景达到催化剂的目的：如外部种草，品牌传播，造势活动预热等
数据分析：包括实时数据反馈和活动后的数据复盘，通过收集和分析用户数据了解用户行为、需求和偏好，优化产品设计和营销策略
◦
产品上线的行为埋点，分析用户在产品中的行为路径、停留时间、点击率、转化率等
◦
上线灰度测试或A/B测试等…
3、知识库是怎么构建的？你做了哪些优化？解决了什么问题？
这道题的背景是考察AI知识问答/客服问答场景下，RAG中的知识库构建环节的相关内容。RAG必考，但是由于不同领域的知识问答，用于构建知识库的数据不一样，仅提供回答思路用你的项目往里套。
1、【介绍背景】我当时做的这个产品是基于xx业务领域，基于xx大模型能力之上构建的AI知识问答助手，整个问答主要是通过LLM+RAG工程化的方式进行实现。
2、【RAG结构/流程】在RAG的实现过程中，主要分为离线流程和在线流程两个部分。离线流程对应的其实就是领域知识库的构建过程。在构建领域知识库时，需要考虑具体4个阶段：（A）数据提取 → （B）分块（Chunking） → （C）向量化（embedding） → （D）数据入库
在数据提取环节：我们这个产品的数据主要来源于非同源异构的数据，数据源主要包括：1、2、3、4（如xxpdf文件、xx数据库、xx业务系统、数据中台等），格式包括文本、图片、表格、文件等非结构化数据，当然部分数据也是结构化的，对于不可编辑的pdf文件还需要通过OCR的能力转成文字后再进行文档内容的切分处理，对特定数据需要去除噪声数据、格式统一、数据去重等，以确保数据的准确性和一致性。在这个环节中，我作为产品经理和业务/运营一同梳理了业务需求，也保证了pdf文件、数据源的数据是可用的，没有过时的。
在分块环节：我们的产品充分考虑了用户诉求的复杂性、知识内容的长短、成本和响应时间，基于内容意图分块、固定大小分块、句分隔、递归分隔等方式去提升文档分块的可用性，及人工校对分块是否正确的成本
接下来就是对分块后的内容进行向量化处理保存在向量数据库中，后续可以用于用户的在线问答检索。
3、【知识库的评估与反馈机制】我们的知识库通过对接外部数据源xxx,xxx能够实现信息的同步更新，通过引入自动化工具或算法，结合运营人员人机协同的模式进行知识审核和更新，减少人工干预，提高知识库的实时性和可靠性。
4、【RAG-知识库的构建解决的问题】通过引入知识库，限定了搜索的范围，且将搜索到的资料作为提示词的一部分发给大语言模型，让大语言模型有根据地输出内容，从而降低大模型“幻觉”的概率。
4、你有没有参与过模型选型的工作？具体怎么做的？由你来主导么？
回答思路：“3看1测”
在我做xx AI产品中，我们的产品是基于xx开源大模型构建的，我们最终确定使用xx大模型的决策是基于比较完整的模型选型流程来做的，作为AI产品经理，我是需要和算法团队一起主导模型的调研选型、测试评估工作的。
1、3看：通用方法：
看榜单，比如superclue
看训练数据
看模型厂商的应用和核心客户群是否有与我当前场景一致的落地案例
💡
这些通用的方式，不一定真正贴合自己的业务场景，仅能作为参考项。所以需要用实际场景来测试模型的能力。
2、1测：就是用自己的真实业务场景数据对模型进行测试，验证模型效果：
先要设定标准
定好标准后，对实际回答进行测试，这一步我用机器+业务专家共同来完成：其中机器评测可以使用更厉害的模型如OpenAI、Antropic作为建立标准和评判国内模型的阅卷者
限定测试的业务范围/节点：在我的工作流里，会有不同的节点，不同节点对模型的能力要求也是不一样的。我首先会从对模型能力要求较高，比如带有规划能力的节点开始，保证这个关键节点能达到比较好的效果，然后其他对模型能力要求较低的节点按照同样的方法跟进
我的具体测试步骤如下：
◦
a）构建数据评测集：确定测试节点的输入和期待输出的数据对构建问答对，和业务老师共同确定高频问题，并结合业务老师反馈调整出最好的提示词
◦
b）评估模型效果：和业务老师共同确认评估标准，按照内容完整度、正确度、相关性等等来划分不同维度进行划分，包含：
•
相关度：回答是否与主题相关。
•
正确度：是否包含错误内容。
•
完整度：是否完整包含了所有内容。
•
逻辑性：这一步对模型有一定的推理能力要求。
c）使用其他模型对评测集中的问题进行回答：使用相同的评估指标，用第1步生产出的标准答案、实际答案、构建提示词并发送给高级模型如gpt4，让gpt4进行评测打分，输出原因
d）让专家审核GPT4给出分数和打分原因。必要的时候对分数进行修正
e）扩大测试规模，用第一步调整出来的最优提示词，生产出更多的标准答案。之后重复第3步。直到测试问题被完整覆盖。
3、当然还有一些其他的考虑因素，包括大模型的成本（推理、微调成本）、多模态支持能力、生态（如是否有训练平台）等，还有就是高层领导的一些资源关系和要求。
5、你的项目的数据评测集是怎么建的，你从哪些维度保证数据的质量？
由于业务场景不一样，数据集也会不一样，仅提供回答思路用你的项目往里套：你需要把你做的项目的数据集从数据的准确性、完整性、一致性、多样性、时效性以及隐私与合规性等角度回答：
数据准确性：
◦
数据来源：确保数据来源可靠且经过验证，特别对于外部获取的数据，应进行严格评估。如果你做的是知识问答工具，你的数据来源可能是和业务老师共同梳理的高频问答，也有可能是过去客服系统中积累的问答数据，可能是你的AI知识问答线上收集的真实问答数据
◦
数据标注准确：避免错误的标签影响模型的学习过程，这里会和运营/标注人员形成一致的标注规范
◦
分析特征重要性：确定哪些特征对模型预测最为重要，评测集需要天然考虑包含这些特征
数据完整性：
◦
缺失值处理：特别是关键特征的缺失，并采用适当方法填补（例如使用平均值、中位数、众数或模型预测）或剔除这些样本。
数据一致性：
◦
格式统一：确保所有数据遵循相同的格式和标准，例如日期格式统一为YYYY-MM-DD，数值统一使用相同的度量单位
◦
数据清洗彻底：去除重复数据和修正明显的错误输入。减少模型训练过程中的噪声干扰。比如不清洗前，同一条业务问法重复出现在评测集中：“查一下2024年华东地区的销售额”；不清洗前有拼写错误或错别字；异常值处理（如日期: 2099-12-31；销售额: -500）
数据覆盖足够多场景且样本均衡：
◦
覆盖多场景：数据集覆盖了各种可能的使用场景，使模型表现出较好的泛化能力。
◦
样本均衡：在分类问题中，确保各类别的样本数量大致平衡，防止模型偏见。
数据时效性：需要反映最新的业务数据且需要定期更新
数据隐私与合规性：对数据集进行匿名化处理，去除任何可能泄露个人身份的信息，以保护用户隐私
举例：比如当时我负责的产品是一个xxAgent，要根据用户意图去调用不同的API接口，所以为了提升意图识别的准确率和模型抽参的准确率，我的数据集主要从以下方面包括：
6、你的AI产品，如何衡量大模型上线后的ROI？
问这道题的背景是：很多公司花了钱上了AI大模型，理想状况下是有了AI加持下，营收最好能翻个10%，但可能花了500万AI成本投入，最后就赚个30-50万的产出，ROI悲剧就出现了！
回答思路：在AI落地的早期（个人觉得估计还有至少2年窗口期吧），成本投入实际大于价值产出是非常正常的，所以千万不要被面试官带到坑里，建议你从以下4个维度衡量AI价值的产出
注意业务价值的量化指标，面试会被问你的数字是怎么算出来的
通过控制成本保证ROI
1、提质：产品服务质量提升，用户体验改善
做了AI，有可能在某个模块的整体质量有提升，能从过去70分上升到90分。数据指标：如浏览用户日UV增加5%，客服服务的用户满意度从4变成4.2，用户体验更好等
2、提效：单位时间产出提升，人效提高
在现有人力的基础上，每个人能够做的事情可以提升多少，比如：以前客服给用户完成一个动作需要1分钟，经过优化能够到30秒，那每个人每天可承接的业务动作可以增长100%
3、减负：流程自动化，减少人工干预
如某个流程完全不需要人作业了，整个流程完整的由系统和AI取代了，质检和文案类的工作是最典型的，一切事情都由AI来完成，人不需要去参与详细的流程，只做策略的优化
4、此外，也需要尽可能的进行大模型的成本控制和优化：比如通过问答对向量库降低模型调用次数、压缩提示词、优化RAG分块以降低token量、模型分发等技术手段降低模型的运行成本等。
7、你的产品版本是如何规划的，里程碑事件如何确定？
问这道题是考察你作为产品经理的产品规划能力，由于项目不一样，仅提供回答思路sop用你的项目往里套。建议你从：“发现问题-评估问题及解决方案-落地规划-持续调整”这个大流程去讲，以B端产品经理举例：
1、【发现问题】举例：如我们的需求一方面来源于客户提出的需求及使用反馈，另外一方面也源于我作为产品经理对于市场和行业洞察后形成的产品规划。所以在这个过程中，我需要做5看（看行业、看市场、看竞品、看自己、看技术发展趋势），同时需要结合客户的需求去发现目前客户存在什么样的问题/痛点/卡点，这些问题将会变成产品需要实现的业务价值和机会点。
2、【评估问题和解决方案】举例：针对上述需求的发现，作为产品经理，我需要判断：
哪些是行业通用需求，哪些是客户个性化定制需求；针对行业通用需求再作为产品进行规划；针对客户个性化定制需求在交付团队进行承接，不影响产品版本
结合客户情况，及“五看”的结果、及公司的战略规划等去判断产品需求中高价值需求和低价值需求
需要确定产品定义和价值主张及初步的产品架构，同时基于以上分析对产品实现方案进行技术可行性评估
3、【落地规划】根据业务价值、需求复杂度、技术难度、客户要求/紧急程度、研发算法团队资源评估、成本等因素，对产品需求进行优先级排序，同时制定详细的产品版本开发时间表，确定每个版本的关键特性和里程碑事件。里程碑事件通常是关键功能、有更高的业务价值、商业价值等。当然还需要披露必要风险，并在产品规划中对可能出现的风险制定应对方案。
4、【持续评估与调整】需要使用项目管理工具和数据分析定期跟踪产品规划的执行情况，对比实际进度与计划的差异。同时根据市场变化、用户需求的变化、技术发展以及实际执行情况，及时调整产品规划。
8、项目预算缩水，如何保持盈利？
💡
这道题就很drama耍流氓连面试官都无法回答，建议回答之前可以先提问面试官，预算缩水多少等背景问题。回答思路如下，用sop+你的场景举例来应对面试：
与客户沟通预算缩水的背景，对需求的优先级进行重新排序：与业务部门进行沟通，在预算缩水的情况下，哪些功能或服务是他们最关注和最需要的，根据沟通结果，对产品功能和服务进行优先级排序，确保在有限的预算内，优先交付那些对企业价值最大、最能解决其核心问题的部分，以提高产品的市场竞争力和客户满意度
产品功能精简优化：对现有产品功能进行全面梳理，去除冗余功能，集中资源优化关键功能，确保产品竞争力和业务价值
加强成本控制与管理：基于1和2，对产品开发和交付过程中的各项成本进行重新盘点和分析，重新评估资源/人力投入，降低成本
版本管理及风险管控：在研发版本中需要及时注意因为上述变更带来的需求蔓延、需求不可控、需求不确定等风险，注意及时上报领导，以及与客户业务部门沟通，保证版本能够按时交付
9、你在做AI产品的生命周期里有没有什么经验和工具可以复用或提效的？
考察你作为AI产品经理（这个新岗位，工作边界不是那么清晰的情况下）你的可复用的经验总结，假设你过往的项目经历是AI知识问答助手，建议可以从以下角度回答：
经验：
需求调研：对业务流程细致的分析，输出业务流程图中可用AI赋能或者改变的步骤，每个AI应用给模型的输入输出样例数据要有，避免口头沟通存在偏差
模型选型调研经验（如果是AI应用）：我做的AI问答助手是基于智谱glm xx版本的模型去设计的，在设计之初我和算法一道对市面上主流大模型的能力边界和效果做了选型评估，包括通过“3看1测”的方式最终选择了智谱。在这个过程中我对主流大模型比较熟悉，能够将选型经验用于后续其他AI应用场景的建设中去。
技术可行性判断：需要根据样例数据做可行性判断，可达效果预估，避免效果不可达
数据标注规范制定与打磨：高质量的训练数据是提升AI问答助手性能的核心。在以往的工作中，我能够根据不同的业务场景和问答类型，制定合理的数据标注规则和标准并推动运营和标注人员按照标注规范进行工作。比如：在医疗问答助手中，我与专业医生合作，对大量的医疗文本数据进行标注，包括疾病症状、治疗方案、药物信息等，确保标注的准确性和一致性。同时，我还参与了数据清洗和预处理的工作，去除无效和冗余数据，提高数据质量。这些数据标注与训练的经验，可以复用到其他领域的问答助手产品中，帮助快速构建高质量的数据集，提升模型的性能和准确性。
效果优化：缺数据的时候要让大模型生成，标注可参考大模型结果
哪些经验可固化成工具：
数据生成：可以固化成一个智能体，给不同的样例、不同的要求，输出不同场景要的数据。比如：业务开始的时候，没啥数据，需要造数据。造数据要给大模型写prompt，这个prompt可以写成带参数的，在不同场景下传不同的参数，控制造的数据的样子
获取到数据时，可以先用大模型标注，然后人工再核对，标注同类场景下可以用一个工具
10、如何评估小模型是否适合我们的场景？
考察AI产品经理模型选型的实践经验。
先预估场景的使用目的以及业务场景的复杂度，是注重推理还是表达能力：小模型通常在处理简单、明确的任务时表现较好，如文本分类、情感分析等。如果场景中的任务较为复杂，涉及多步推理、长文本理解和生成等，小模型难以胜任
评估业务数据量和数据质量：数据量有限的情况下选小模型能更好地避免过拟合，快速学习。如果数据量大且质量高，用大模型更好地利用数据，挖掘数据特征和规律
计算资源消耗：小模型对计算资源的需求较低，适合在资源受限的环境中部署和运行。如果公司的服务器资源有限，或者希望降低云服务成本，小模型更经济。
综合各评测机构给出的多维度评测数据：选择自己在某个方向需要最强的模型
根据自己的场景把手弄脏下手实践：用相同提示词下，测试哪个模型最符合自己的需求，如准确率、召回率、F1分数等。如果小模型能够达到较高的准确率和召回率，说明其有效
回答举例：假设你做的是一个用于电商产品评论情感分析的小模型。首先，从情感分析是一个相对简单明确的任务，小模型可以很好地处理正面、负面和中性情感的分类。其次，在成本与资源方面，电商平台每天会产生大量的评论数据，但大部分数据质量参差不齐，存在很多噪声和无关信息。小模型在处理这些数据时，可以更快地训练和推理，节省计算资源。同时，电商平台对评论情感分析的实时性要求较高，用户希望能够及时了解产品的好评和差评情况，小模型的快速响应能力可以满足这一需求。最后，在模型性能方面，通过准确率等指标评估，小模型在情感分析任务上能够达到较高的准确率，满足电商平台对评论情感分析的需求。因此，在这个场景下，小模型是一个合适的选择。
11、我收集到badcase了，然后我也分类了，然后每个类别的badcase我咋优化？
这道题是考察你作为AI产品经理对badcase的分析实操经验，由于项目不一样，仅提供回答思路sop 用你的项目往里套。
对收集到数据（如线上真实问答数据）进行分析：对badcase进行逐一打标拆解，判断回答不满足用户需求的原因，如缺知识、内容不满足、风格不一致、逻辑不正确、违背什么事实，还是其他生成幻觉问题
和算法同学一起制定优化策略，并制定优化指标：
◦
a）生成指标如：用户满意度/采纳率
◦
b）针对每一类型的badcase制定目标：如风格不一致从50%收敛到10%。指标设定可以参考当前线上回答标准的情况，比如线上现在回答比率是80%，超过这个标准就可以上线。
算法同学根据badcase分析结果（问题所占比例，对用户的影响程度等）进行优化
回答举例：假设你做的AI问答基于RAG，你觉得回答效果不佳，排查/分析思路是：“从后往前”进行，按照以下逆向步骤一层一层往前排查，确定是哪个环节出了问题，然后进行解决。
排查步骤：逆向排查
a）先查看生成环节的问题排查：先看Prompt，检查其拼接结果中是否召回了正确答案，答案是否有缺失。如果答案没有缺失但答非所问，那就说明是大模型本身在生成环节出现问题
b）如果在Prompt拼接的召回片段中没有答案，那就说明需要再往前看排序环节是否有问题，答案是否没有排在靠前位置
c）如果排序正常，那就继续往前查看是否有召回，也许根本就没有召回
d）排查文档内容分块是否有问题，导致检索召回准确性差
12、用户表达一个模糊意图时，助手再次追问，用户可能会补充新的信息，可能提供更加模糊的信息，在这个复杂的多轮对话中，如何记住用户说了什么，除了短期记忆的方法，有没有什么辅助方法来记录每一轮对话中提炼的关键词等？
AI Agent产品面试题，喜马拉雅/百度AI产品经理面试真题，考察Agent产品经验，没做过会回答不上来，回答思路如下：
场景举例：以下场景都会涉及到Agent长期记忆：
•
全能顾问能记住你的重要事情和偏好
•
AI伴侣会记住你的过往事情
•
教育辅导场景：学习导师可以追踪你的学习进度
技术实现/算法：数据存储：
System Prompt存储法：把用户的重要信息实时或异步存储到“系统提示词”，设计专门的提示词模版
◦
优点：全局生效，无需专门再去设计记忆调用环节，OpenAI采用此方法
RAG检索增强：通过会话变量将用户信息动态注入知识库，需要时就会自动查询调用。
◦
优点：存储容量大，信息调用灵活
◦
缺点：对于记忆调用时抽取的准确率要求较高，如果没有优化好，效果不如system prompt
设置外部记忆系统，明确需要存储关键信息，包括用户的基本信息、历史对话记录、任务完成状态、个人偏好等，并设计相应的数据表或文档结构：将用户特征提取后，转化为结构化的数据存入数据库，将长期记忆与外部知识分离，通过API实时检索。（这里会涉及到实体关系抽取和知识图谱的能力）系统可提取重要的用户偏好、意图、需求等，存储到独立数据库中，后续对话根据内容或关键词从记忆系统提取相关信息，动态填充到当前对话中。对于超长时间或跨多天的对话特别有用，如用户和模型讨论一周前项目细节，通过外部存储可重新加载关键信息。
◦
优点：实现简单，门槛很低
对历史对话进行阶段性总结摘要：当对话内容变得过长时，可以在每轮对话结束时生成一个摘要，将之前的对话压缩成一个短小的表示形式，保留对话的核心信息。
比如，在教育辅导中，学生可能会提出不同的数学问题或理解难题（如“我不太理解二次方程的求解方法”）。ConversationSummaryMemory可以帮助AI总结之前的辅导内容和学生的疑问点，以便在随后的辅导中提供更针对性的解释和练习。
技术实现/算法：记忆检索：
如基于关键词匹配、语义理解、向量检索等技术，或者为知识库构建多层次索引结构，使机器人能够快速准确地从长期记忆中获取与当前对话相关的信息（比如：将课程进度存于数据库，错题记录通过向量化存储便于检索），检索效率提升了，模型能够记住的历史对话轮数也就增加了。
记忆融合：将长期记忆与短期记忆相结合，使机器人在回答问题时既能参考历史信息，又能结合当前对话的具体情况进行综合判断和回答。
技术实现/算法：记忆更新：根据用户的交互频率、时间远近调整记忆优先级（如近期对话权重更高）。设置过期规则（如删除一年前的非关键数据）。
产品和用户体验上：
•
a）支持用户手动管理/维护记忆：允许查看/删除记忆数据，设置记忆时长等
•
b）让用户感知到记忆存在（如“上次您提到喜欢咖啡，推荐以下新品”）
13、怎么判断用户意图更改了，是只根据目前用户说的这句话还是根据用户所有上下文？
AI Agent产品面试题，喜马拉雅AI产品经理面试真题，考察Agent产品经验，没做过会回答不上来，回答思路如下：
为了好理解，举个真实场景案例：假设用户在与客服机器人对话，对话内容如下：
用户：我想了解一下你们的智能手表有哪些功能？
客服：我们的智能手表有健康监测、运动追踪、消息提醒等功能。
用户：健康监测具体包括哪些方面？
客服：健康监测包括心率监测、睡眠监测、血氧监测等。
用户：这个手表的价格是多少？
用户：你们的竞争对手的产品价格是多少？
在第5步，用户提到“价格”，这可能是用户在进一步了解产品信息，意图没有明显更改。但在第6步，用户提到“竞争对手的产品价格”，这表明用户的意图从了解产品信息转变为比较分析，意图发生了明显变化。
💡
1、当前话语分析：
从关键词看用户意图：例如，如果用户突然提到“退款”或“投诉”，这可能表明用户的意图从咨询产品信息转变为处理售后问题。
从情感分析判断：通过情感分析工具，判断话语的情感倾向。比如用户的情感从积极或中性突然转变为消极，这可能是用户的意图发生了变化。
2、结合上下文分析：
回顾整个对话历史，了解用户问答前文的问题和意图。比如：用户之前在询问产品功能，现在突然提到“价格”，这可能表明用户在进一步了解产品信息，而不是意图更改。但如果用户之前在询问价格，现在突然提到“竞争对手的产品”，这可能表明用户的意图从购买决策转变为比较分析。
分析用户行为模式是否发生改变：如果用户在对话中多次重复某个问题或需求，这可能表明用户对这个问题非常关注，意图没有更改。但如果用户突然改变提问方式或内容，这可能表明用户的意图发生了变化。
3、具体做法：
判断上下文是否关联：2种途径，1种是基于语义，一种是基于上下文槽位信息的。
◦
a）基于上下文语义分割：深度学习或大模型方法。如果使用深度学习方法，可以基于NER算法框架来实现，从而来判断上下文衔接是否可分；如果使用大模型，需要标注一少部分数据，再微调大模型，从而来判断上下文是否可分。
User: 前天武汉的天气？
System: 前天武汉的天气是15-25度，xxxxxx。
User: 那北京的呢？
System: 前天北京的天气是10-20度，xxxxxx。
◦
b）基于上下文槽位关联：如果将“那北京的呢？”改成“北京”，仅从语义上看，并不能判断User是否想问“前天北京的天气？”，但是通过槽位（地点）可以判断需要继承用户想问天气的意图。
User: 前天武汉的天气？
System: 前天武汉的天气是15-25度，xxxxxx。
User: 北京
System: 前天北京的天气是10-20度，xxxxxx。
想要实现“端到端”的意图变更判断，那就需要微调大模型，需要构建微调的数据集
prompt示例：
代码块
Plain Text
你是一个NLP专家，请根据历史对话信息，来判断当前对话[USE R-current]的意图。意图类别有：A001 | A002 | A003 | A004 | A005。历史对话信息如下：# [USER]: xxxxxxx# [ROBOT]: xxxxxxx# [USER]: xxxxxxx# [ROBOT]: xxxxxxx 当前对话如下：# [USER-current]: xxxxxxx
比如通过阈值设定（“意图跳变判定标准”）的方式判断意图更改的显著性。如果当前话语与上下文的差异超过某个阈值，可以认为用户的意图发生了变化。
14、多轮对话，什么样的prompt可以实现多轮意图判断
AI产品经理基本功，考察是否对prompt构建掌握了基本方法，示例如下：
💡
prompt应该至少包括以下4个部分：角色及限制条件、对话历史、当前用户输入、模型输出
prompt结构：
代码块
Bash
##角色及限制条件：角色定义：明确告诉模型其角色是一个多轮对话意图识别专家。任务定义：任务是根据用户的输入和对话历史，识别出用户的当前意图，并返回对应的意图标签和相关参数。输出格式：指定输出格式为JSON，包含意图标签和相关参数。 ##对话历史管理：历史对话内容：使用一个列表管理对话历史对话相关上下文：提供对话相关的上下文 ##可选择的意图：意图列表 ##当前用户输入：用户输入：用户输入的内容 ##模型输出：意图标签：识别出的用户的意图相关参数：相关参数
【prompt示例】：
代码块
Bash
##角色及限制条件：角色定义：你是一个意图识别专家，擅长通过分析多轮对话内容，准确识别出对话者的真实意图。任务定义：你需要根据用户的输入和对话历史，识别出用户的当前意图，并返回对应的意图标签和相关参数。输出格式：指定输出格式为JSON，包含意图标签和相关参数。限制条件： 1、对话可能涉及多个话题转换，需要专家能够追踪并聚焦于关键信息。 2、需要考虑到语境的变化以及隐含的意图，确保理解的准确性。 3、对于模糊或不明确的表述，应能提出合理的假设并验证。 4、最终目的是为用户提供一个明确、简洁的意图总结，便于后续的决策或行动。 5、风格设定：专业、细致、逻辑性强，注重深度分析和理解能力。 ##对话历史管理： dialogue_history = [ {"user": "我想听音乐", "assistant": "play_music()"}, {"user": "给我放个轻松的音乐吧", "assistant": "play_music(genre='轻松')"} ] 当前用户输入 current_user_input = "能不能换一首摇滚的？" ##可选择的意图：继续放当前歌曲换歌曲不相关
15、让你设计一个系统，如何在智能体和用户对话的过程中，提炼出用户的画像信息
开放式问题，场景题，考察产品经理基本功和现场反应、产品思维能力，回答示例如下：
假设我现在是一个智能客服智能体的产品经理，在电商领域面向消费者解答商品和订单的相关问题，我会按照如下思路设计用户对话，并提炼用户画像标签。
1、定义用户画像的维度（标签）：如基本信息、购物行为、心理特征、服务偏好等
2、对话流程：
可以设计特定的对话流程，引导用户询问/回答信息以获取用户更多的信息，如涉及开场白、开放式问题引导/推荐问题、偏好询问等（如“您更喜欢我们快速给出解决方案，还是希望了解详细的过程呢？”）
在线对话过程的关键信息提取：利用大模型从用户每轮回答/提问中提取关键信息：包括用户意图（如查询、投诉、建议还是其他）、情感（积极、中立、校级等）、通过实体识别提取对应的实体信息（如商品名称、订单时间）等
分析用户行为：通过用户问答的响应时间、是否点击链接、是否重复访问链接、提问频次、回答满意度等、包括跟踪用户在对话流程中的选择（比如如何导航到不同的服务选项或信息页面），提取用户的标签信息
3、整合信息构建/更新用户画像：将从对话内容和行为数据中提取的信息（文本、行为、情感、意图等）整合起来，构建完整的用户画像，并且在后续对话中不断更新和完善这个画像。
例如：用户画像示例：基本信息：30岁，女性，北京。行为特征：每月购买一次电子产品，常见问题类型为产品使用和售后服务。心理特征：性格耐心，喜欢详细解释，对新技术感兴趣。服务偏好：偏好详细解释，响应时间期望在5分钟内。
16、你的AI项目上线后如何评估效果，涉及哪些指标？效果如何，后续如何优化或思考？
AI产品经理必答，考察你对产品效果评价的理解，注意这里的指标不光是算法指标，还有业务指标。另外就是优化思路也是必考。由于项目不一样，仅提供回答思路sop用你的项目往里套。
1、效果评估：
用户侧直接反馈：如用户满意度调查、使用体验反馈等，了解用户的实际使用感受
如：xx%用户反馈系统的多语言处理和自动回复功能显著提高了服务质量和响应速度，用户满意度从xx分提升至xx分
线上数据分析：分析系统使用数据，包括用户活跃度、使用频率、问题解决率等，评估系统的实际应用效果
如：系统使用频率和活跃度从xx增加至xx，问题解决率和客户留存率从xx%增加至xx%
对比测试：A/B test，比较新系统与旧系统在用户体验和业务指标上的差异，评估新系统的改进效果
如：新系统在响应时间、问题解决率和客户满意度等方面均优于旧系统（需要量化）
2、评估指标：
•
算法/模型效果指标：
a.
准确率、召回率、F1分数
•
性能指标：
a.
响应时间/首字速度：系统处理用户请求的时间，评估系统的响应速度和效率
b.
用户输入覆盖率：衡量模型能够正确理解和处理的用户输入范围，确保模型的适用性和广泛性
•
业务指标（注意一定要量化指标）：
a.
客户满意度：客户满意度评分。
b.
问题解决率：系统能够成功解决用户问题的比例
c.
客户留存率：使用系统后客户的留存情况
d.
平均处理时间：系统处理用户咨询的平均时间
e.
业务增长：系统上线后业务指标的变化，如客户数量增加、销售额增长等
3、后续优化思路：
持续数据优化：定期收集和清洗新的高质量数据，增强模型的训练数据，进一步提升模型性能
改进算法：根据用户反馈和评估结果，优化模型的算法和参数设置，提升模型的准确性和响应速度
完善用户反馈机制：建立更加完善的用户反馈机制，及时收集用户意见和建议
17、你在AI项目的过程中，遇到的最大困难是什么？你如何解决？
这里区别于传统产品经理，讲一个AI产品经理在数据、模型过程中遇到的困难及解决方式的回答思路。但是考察点和传统产品经理一致：问题识别、解决方案、抗压能力、解决问题的能力、复盘总结。可以去答18题，用模型评测作为你最大的困难。
再给你一个案例，比如标注规范的跨部门对齐的工作是非常难的：
拿到数据之后，要做的事情就是标注规范制定，即大家达成共识，什么样叫对、什么样叫错，否则模型就会被训偏。数据规范制定基本是产品运营的事情，但是产品经理也一定要对业务数据很熟悉，否则很难对产品的体验和技术提出要求。但是在标注规范的制定过程中，标注规范打磨至关重要，复杂业务往往要经历多轮，一般情况下由产品经理推动，运营、算法、业务同学负责执行。标注规范未打磨好就开始训练优化，会浪费大量的人力投入。而作为产品经理，就要在中间去主导标注规范的制定和标注规范的沟通对齐。
18、目前AI的能力还达不到理想状态，不能解决用户真正的需求，商业模式也很难跑通，这种现状下，AI产品经理可以为业务做些什么？
考察对AI产品经理的能力认知，属于认知类问题。
💡
AI产品经理本质还是产品经理，他的目标和传统产品经理是一致的，都是需要解决业务问题，实现业务价值最终实现商业价值，而AI只是工具和手段。
有没有AI都不影响业务场景和真实需求的存在，只要有场景和需求，AI产品经理都需要用产品技术方案解决用户的问题，AI技术只是众多解决方案中的其中一种
AI产品经理需要对AI技术的边界有深刻认知，才能判断AI是否能用于解决业务问题且经济实用：
◦
对于AI能力可达的场景，可以尝试通过AI对传统方案进行改造或者重塑，达到更进一步的降本提效或者满足个性化的需求，以此提升产品竞争力，实现商业价值
◦
对于目前AI能力不可达或者可达但是成本过高的场景，作为产品经理应该主导用其他更合理的方案和技术手段解决业务问题，以达到商业结果
由于AI的能力边界在不断地被打破，AI产品经理需要对AI发展趋势保持时刻关注，对AI能够带来的实际业务场景的价值提升进行合理判断
19、你在做模型评测时遇到过哪些困难？
AI应用产品经理基本工作流程，经常会问，一方面检验经验是否真实，另外就是所有的困难类题目都考察解决问题的能力和是否有复盘。由于项目不一样，仅提供回答思路sop用你的项目往里套。
在进行模型评测时，我认为最大的困难主要体现在以下几个方面：
技术层面：模型的复杂性和多样性导致评测的难度增加。不同的模型架构和算法可能需要不同的评测方法和标准，这就要求我们对各种模型有深入的了解和掌握。
数据层面：数据的质量和规模对模型评测有很大影响。如果数据存在偏差或者不充分，可能会导致模型的评测结果不准确。因此，我们需要确保数据的质量和完整性，以便进行有效的模型评测。
业务层面：模型的业务目标和应用场景对评测的侧重点也有所不同。我们需要根据具体的业务需求和场景选择合适的评测指标和方法，以确保模型能够满足业务需求。
在模型评估方法的选择和应用上，我们需要综合考虑模型的准确性、泛化能力、解释性等多个方面。
还需要关注模型的计算效率和可扩展性，以适应不同的应用场景。
20、你做的这个项目后续还有什么优化的点么？
考察你的思考能力、复盘能力及规划能力。由于项目不一样，仅提供回答思路sop用你的项目往里套。
1、思考的优化方向可以从以下4个方面入手：
•
基于数据：例如业务指标、用户规模等数据还有进一步提升的空间，还要持续迭代优化
•
忠于用户：在用户体验层面进行优化，包括使用门槛、操作建议程度等；也包括产品使用场景的拓宽
•
遵循市场：从同行业竞品的维度分析，发现在某些产品功能不及竞品，则可进行优化
•
跟随趋势：需要遵循新兴趋势如AI，适当创新，例如用AI技术赋能某功能场景
2、回答框架：建议遵循PREP原则（Point, Reason, Example, Point）来组织内容。首先明确指出确实存在优化的空间（Point），解释为什么需要这么改进（Reason），举出具体的例子说明你如何识别和实施这些改进（Example），最后重申对持续优化的承诺（Point）。
21、对于模型生成的回答，收到用户的点踩回复内容，你们是如何处理的呢？
几乎必考。考察AI产品经理的基本能力，对badcase的分析过程和工作流程，回答思路几乎和11题类似，可以一起看。
作为这个产品的产品经理，我会定期抽查数据，从数据部门拿到线上真实问答的QA数据后：
我会逐一对这些点踩内容的badcase进行分析
标注回答的不好的原因、分类，判断回答内容造成用户不满的原因：如缺知识、内容不满足、风格不一致、逻辑不正确、违背什么事实，还是其他生成幻觉问题
和算法同学一起制定优化策略和优化指标：针对每一类型的badcase制定目标，如风格不一致从50%收敛到10%，或者超过目前线上的某个数据指标就可以上线
此外在这个过程中，如果涉及到数据量确实比较大，产品经理需要定义标注规范（即badcase的标准）：会对对不对、合不合理做出解释，目的是让不同的人用这个规范都可以对答案做出一致的标注结果，从而提升数据标注质量，降低解释成本
22、你们怎么判断大模型的优化效果是否达到了预期？
问模型评估，相同类似的问题还有：1、如果评估整个对话场景的效果？2、一般你的业务场景会从哪几个方面评估最终的效果？……
💡
【回答思路】以AI问答场景举例：
根据用户的反馈：包括显式反馈和隐式反馈。显式反馈就是收集到的用户点赞点踩提交反馈的内容，隐式反馈就是事先通过用户行为埋点而分析出用户对回答是否满意
靠人工评估：业务专家或人工评估员对RAG生成的结果进行评估
LLM评估指标：在实施RAG的过程中，我们需要根据具体的任务需求来设计相应的评估指标，以便对RAG在该任务上的效果提升程度进行全面的评估。以问答任务为例，我们可以采用准确率、召回率、F1值、首字速度等关键性能指标（Key Performance Indicators, KPIs）来衡量生成答案的准确性和完整性
LLM（机器）打分：用更高阶的大模型如gpt4o对回答内容进行打分，减少人工的成本和时间限制
此外，也会在用户体验上进行评估，如多轮对话连贯性（上下文依赖问题处理）；意图识别准确率（埋点统计跳转率）；拒识场景处理（如“我不会，但可以帮你转人工”）。
23、哪些策略能提升大模型的召回效果？
这道题考察的是RAG检索模块如何优化，常考题，一定是结合你过往做的问答项目来问的，这里给出比较全的回答，请按照实际项目往里套用。
💡
【回答思路】
使用“意图识别模块”定义意图，去除无关信息，优化RAG检索模块
query改写扩写：通过LLM优化用户query
引用追问机制：比如当无法从背景知识回答用户的问题，则根据背景知识内容，对用户进行追问
使用混合检索+重排策略：将关键词检索和向量检索相结合实现混合搜索，再对多个召回结果进行二次排序，优化排序结果。其中关键词检索中：可以利用关键信息抽取，用NLP的句法分析、NER（命名实体识别）、等抽取关键信息，将抽取到的关键信息加入至前面层次检索的顶部。先检索关键信息
文档分块，知识构建提升准确性
24、你做的AI问答产品，如果想要更快地返回用户答案，有哪些优化方向
AI问答的高阶题目，主要考察项目经验的深度和实操。
💡
【回答思路】如果想要更快地返回用户答案：
针对一些常见高频的问题，可以预先计算好答案并进行存储。检索时，先从缓存中找答案，如果缓存中没有命中，再从向量库中检索。这样可以显著减少检索延迟，提高响应速度
CAG：根据用户的查询历史或者用户画像，在后台预先加载可能会被问到的相关知识到缓存中：在推理阶段，模型直接利用缓存中的知识生成回答，无需进行向量检索，从而减少延迟
检索算法/生成优化：如优化索引、重排机制、问题改写扩写等；还有就是可以采用并行处理的算法同时处理多个检索任务或者答案生成任务。这样可以充分利用计算资源，减少总的处理时间。
25、你是否有组织数据评估工作的经历？
AI产品经理能够组织数据评估，是很重要的能力。
💡
【回答思路】一般从：制定评估标准 → 协调组织标注人员 → 标注规范制定 → 标注结论梳理这几个流程上进行回答。需要体现方法论和你项目中的具体场景案例来进行说明。
【举例】在我做的xxAI智能客服项目中，我作为AI产品经理是需要主导数据评估工作的：
通过查看样例数据，确认业务场景的输入输出，进行难度评估、数据需求量评估，给客户提供数据模板，便于客户依照模板提供业务数据，一般有两类：
◦
业务规范：如有哪些业务、对应的典型说法是什么（标注规范雏形）
◦
生产数据：如用户输入、机器结果等
需要明确评估的目标，拆解指标，包括技术指标和业务指标：比如在一次问答的优化版本迭代中，我们的目标是：
◦
技术指标：回答的准确率要从68%提升至85%，降低30%人工转接率；
◦
风险：还有就是涉及金融等专业领域的回答必须有风险提示，这类case的错误率要控制在0.1%以下
我们有自己的标注团队，对接标注团队人员，提供客户反馈的数据，推动标注规范的制定，业务、标注、算法同学配合执行，比如在我们的客服对话中，需要明确标注用户姓名、联系方式、问题原因、用户情绪反馈、特殊原因等信息方便后续建立工单。标注规范的制定非常重要，一旦标注规范制定不好，标注的质量会大有影响，直接影响到模型效果，会造成大量人力浪费。同时在标注过程中，在前期会对标注的一致性进行检查，通过抽查交叉验证的方式，确保不同标注人员的标注结果具有高度一致性。
推进数据标注，当数据量达到需求后（如1500条），推动算法同学划分训练集、测试集，测试极限效果和模型训练，并对badcase进行逐一分析、归类，分析错误的原因和错误的类型，比如类型包括信息遗漏，不精炼，不准确，与提问不符等。针对占比高的同一类问题会和算法同学进行排期针对性的优化
跟进算法同学效果优化情况，直到达到效果目标
26、你的项目是通过调用云端大模型，你们有核算过成本和ROI么？
💡
送命题，考察AI产品经理的商业思维，而且现在都是亏的，商业模式都没跑通，从客观数据上掰扯ROI容易掉坑。
【回答思路】
算力成本包括两方面：推理成本和微调成本；推理成本就是用推理接口的token单价×token数；微调成本就是用微调接口的token单价×训练数据的token数；而且input和output的单价是不一样的，需要分开计算
关于ROI的核算：其实目前来说基本上都是亏的，商业模式都不成熟，都处在应用探索的阶段，花了几百万最后只赚个50万。我们一般不会以客观的经济指标来衡量，更多的是从提质、提效和减负3方面来带来AI的价值，比如在提质方面：浏览用户日UV增加5%，客服服务的用户满意度从4变成4.2；在提效方面：以前客服给用户完成一个动作需要1分钟，经过优化能够到30秒，那每个人每天可承接的业务动作可以增长100%；在减负方面：提高自动化水平，某个流程完全不需要人作业了，整个流程完整的由系统和AI取代了
注意：该回答不针对AI产品B端私有化部署做项目的情况，这种情况一般都是在项目上衡量毛利，微调和训练的成本会转嫁给大B，需要结合你做的项目来具体说。
27、你是如何撰写 Prompt的，有什么技巧和心得么？
通过这个问题考察：你对模型的理解能力、需求的转化能力和迭代能力，prompt本身就相当于AI产品经理的需求文档，写的好体现你对于技术-产品的把控能力；需要方法论+项目举例来回答。
【回答思路】我在日常工作中写prompt，我会有一些原则和体会：
需要明确具体的任务目标，切忌模糊的需求，比如帮我生成一段文案就很模糊，需要限制文案的主题，字数，使用场景等
提供必要的背景信息和上下文，如他的角色，他现在面临的问题等
明确一些具体要求和限制条件，如输出格式，风格等
可以引入多轮互动，比如如果你需要我提供更多信息，可以追问我更多细节
引入思维链，引导模型一步步思考，比如lets think step by step
在简洁精炼和内容背景详实度中找到平衡，prompt提示词是需要多轮优化的
【然后用你的真实项目来举一个prompt提示词优化的案例】
比如在我做问答优化的时候，为了让大模型对于用户的意图识别更加准确，在fewshots上以及意图的分类上对prompt进行了补充等。
再比如，我的初始prompt：“请查询东方阿尔法优势产业混合C基金在2021年年度报告中的前10大重仓股，并统计其中有多少只股票在报告期内取得正收益。”
经过优化后：“用户提问：我想知道东方阿尔法优势产业混合C基金，在2021年年度报告中，前10大重仓股中，有多少只股票在报告期内取得正收益。
请确认以下信息：
•
基金名称：东方阿尔法优势产业混合C基金
•
报告年份：2021年年度报告
•
查询内容：前10大重仓股及其报告期内的收益情况
请按照以下步骤进行查询：
从金融知识库中检索东方阿尔法优势产业混合C基金的2021年年度报告。
提取报告中的前10大重仓股信息，包括股票名称和代码。
查询每只股票在报告期内的收益情况，计算正收益的股票数量。
请在回答中包含以下内容：
前10大重仓股的股票名称和代码。
每只股票在报告期内的收益情况。
统计结果：有多少只股票在报告期内取得正收益。”
💡
此外，我写prompt会让高阶大模型gpt4o帮我做优化，同时deepseek这种推理模型，其实反而要求prompt更加简洁和清晰，更加注重描述背景，给定角色和给到大模型明确的任务。
28、作为AI产品经理，你是如何设计即时
（原文此处内容不完整）
43、如果为你的产品上线一个AI语音助手(如语音评论生成)，你会关注哪些指标?如何验证它和留存率的关系?
抖音春招应届生面试题，考察AI落地场景理解 + 指标评估体系 + 数据分析和业务理解这3层指标体系及对业务影响的验证方式。可以套用到C端所有AI落地场景下，建议举一反三。
【回答示例】
上线AI语音助手是为了提升用户活跃/留存，具体指标体系分3层：
层级1：功能使用指标：比如语音助手功能使用率（启动语音评论功能的人数 / 有评论行为的人数）；单日语音评论量；单次生成评论的成功率 / 平均耗时；生成评论后的发送率
层级2：用户行为指标：用户满意度（点赞、编辑等）；评论活跃度变化（人均评论条数）；首次评论时长缩短（降低用户发第一条评论的门槛）；评论转化率提升（看视频后评论的转化率变化）
层级3：长期留存&活跃指标：次日留存、7日留存、30日留存；评论用户次日留存变化（用过语音助手 vs 没用过的评论用户）；发评论用户的视频互动率变化（评论-点赞-分享-关注等链路的活跃提升）
关系验证的方式：
通过设计A/B Test验证（A组：可以使用AI语音助手；B组：没有AI语音助手，传统评论模式）：对比两组的留存率、评论行为变化、视频停留时长变化等指标
通过比较不同行为类型的用户（如只使用文字评论、使用语音评论且发布、使用语音评论但未发布）的次日、7日、30日留存变化
通过行为路径归因：验证语音评论 → 点赞 → 关注 → 次日留存中间每一环，验证每一环是否真正成立，打通了触达 → 行为变化 → 社交加强 → 留存提升
44、你的项目中，数据评测集构建的具体流程是怎么样进行的，都是你主导的么，你负责什么？
关于数据评测集的准备，请按照你的项目往以下维度去进行套用，我仅给出方法论和示例。这个和第5题一起看哈。
【回答思路】
明确评测目标（产品经理主导）：是提升答案准确率？召回率？具体什么场景（如订单查询，售后问题）
制定数据评测集（协同）：数据从哪里来，数据维度（用户类型、意图类型等），覆盖哪些场景（高/中/低频）
构建评估体系（产品经理主导）：定义“对错标准”、打分维度（准确性/有效性/表达自然度等），确保评估标准贴合业务目标（转化率、召回率等）
数据覆盖面审核与补充（协同）：是否覆盖高频场景（如高频问题）、长尾问题、模糊提问、错别字等
人工打分/校准（协同）：设计说明文档（如“回答正确但没解决问题”），管控标注质量
将模型评估结果转化为产品决策依据（产品经理主导）：是否上线或继续调优，业务价值如何量化
【回答举例】项目背景：提升用户在电商平台使用智能客服进行商品咨询、订单查询、售后问题等的问答体验。
1、明确评测目标（产品经理主导）
目标类型：提升答案准确率（是否回答了用户真正的问题）；优化召回率（能否召回对应答案）；提升用户满意度（减少“问而不答”“鸡同鸭讲”现象）
典型场景：如订单状态查询（“我昨天买的鞋子发货了吗？”）；售后问题（“这个手机我怎么退货？”）；商品比价或推荐（“有什么适合跑步的耳机推荐？”）
2、制定数据评测集（协同）
数据来源：历史真实客服对话数据；用户典型问题汇总（FAQ）；合成问法（通过大模型生成多种口语表达）
数据维度设计：如用户类型（新/老/高频用户）；问题意图（如交易/售后服务/商品咨询/平台政策）；输入风格（标准问法/模糊问法/多轮上下文）
覆盖场景示例：如高频（查快递、退货流程、优惠券）；中频（商品功能对比、颜色尺寸）；边界场景（讽刺提问、上下文缺失、逻辑跳跃）
3、构建评估体系（产品经理主导）
对错标准定义：如回答是否语义准确；是否解决了用户问题；是否触发“兜底回复”或无意义回答
打分维度设置：如准确性、有效性、表达自然度、用户满意度等
转化为可量化指标：如回答有效率 ≥ 90%，错误率 ≤ 5%，召回命中率 ≥ 90%
4、数据覆盖面审核与补充（协同）
确保覆盖高频问题：按日志统计用户提问top 200问题
补充长尾问题：通过召回失败的案例（如回答“请联系人工客服”）倒查问题类型，补充冷门问题
边界场景构造：设计模糊提问、复合问题、多轮提问、方言拼音错别字等
5、人工打分/校准（协同）
说明文档设计：如什么算“回答正确但没解决问题”？（如答了商品介绍但没提供退货流程）
设计各评分等级的判定逻辑 + 示例参考
多人标注 + 一致性检验等
6、将模型评估结果转化为产品决策依据（产品经理主导）
如减少20%转人工率，用户反馈好评率提升12%，客服成本预计节省15%等。
45、你在做一个故事搜索助手（如面向儿童讲故事）的产品时，作为产品经理如何平衡联网搜索和用户体验？
这道题直接考AI产品落地，尤其是在他举例的场景下，对响应速度、内容安全、可控性要求非常高，但是联网搜索又不是那么可控，作为产品经理，建议先回答是产品定位，即什么是好的用户体验，然后再对应策略，再举例。
【回答思路】
讲这个场景中，联网搜索可能会面临的问题
拆解“用户体验”这个词，把这个词转化成相对好度量的标准，再对应标准说明对应的策略——方法论
举例子，做场景带入
【回答举例】在这个场景中，联网搜索虽然使得内容更丰富，但也会带来响应时延长、内容风险与不确定性；所以产品经理要想实现良好的产品体验，是需要在体验和智能之间去权衡的。
1、我觉得“好的用户体验”可以拆解成以下3个维度：
响应速度快：因为这种场景一般等不了太久，小孩注意力缺乏需要及时响应
内容安全、健康，符合儿童需求：无广告暴力敏感词等
内容的准确一致性，与意图一致：搜索的故事内容符合儿童意图
取得父母的信任感：家长需要对内容来源有信心
•
想要实现响应速度快，可以考虑增加缓存，每次搜索先去缓存里搜索是否有相关内容；
•
要想实现内容安全可控，需要通过建立故事知识库RAG的方式，避免幻觉问题，对故事内容质量可控
•
要想实现内容的准确一致性，与意图一致，需要结合意图识别、query重写改写、混合检索的方式提升故事的命中准确性
•
要想取得父母的信任感，一方面结合rag平台知识库，另一方面如果真的触发联网搜索，需要告知服务来源，让父母用户选择该知识来源是否合适可信，给与用户一定的选择权利。或者联网生成内容后需要由家长端二次确认才可播放。或者由家长配置开关是否支持联网搜索
2、如果我做这款产品，假设小朋友提问“请给我讲一个恐龙和小猪佩奇去大冒险的故事”，我会将联网搜索纳入增强体验，而不是主体验路径，确保内容丰富的同时，做到快速、安全、准确：
建立知识库RAG，由平台端提供，所有故事内容审核入库保证内容安全性
用户提问时，先识别意图、query重写改写后先在缓存中检索，以降低时延；若缓存未命中，检索知识库，若知识库未命中，再调用联网搜索，搜索结果需要增加大模型后处理（如敏感词检测或者家长审核后）后才能够播放
搜索结果由AI改写成符合小朋友语言节奏和理解能力的讲述方式，比如“小恐龙多多开始了它的探险哦～”避免晦涩文本化表达
在产品体验上，支持家长设置：是否允许联网/是否进播放可信来源内容等，对于联网搜索的结果需要溯源如“本内容来自国家地理博物馆”
46、请你介绍一下，你这款AI产品的产品功能和模块！怎么介绍才能体现出专业度？
💡
高频问题，别掉坑里上来直接讲产品功能啊。核心考察产品结构化表达能力、是否有业务思维能结合业务场景讲清楚功能设计的来龙去脉，同时体现你对AI能力的理解和落地思维。
【回答思路】
先讲业务背景和用户场景，从业务出发
讲产品目标、产品架构
梳理关键功能模块
最好强调你的工作亮点，不是只做功能，光做功能没意义，可以拔高一点
【回答示例】我以基于大模型的AI审核助手为例：
1、我负责的这个产品是一个基于大模型能力构建的智能审核助手，主要服务于企业的内容审核运营同学，帮助他们提升文本数据的审核效率和一致性。
2、做这个产品的原因是我发现传统的审核方式中存在3大问题：人工审核费时费力，审核标准容易不一致，成本高。所以想通过引入大模型能力，把这种“重复但需要理解力”的审核任务做智能辅助。
3、所以这个审核助手的目标就是：提升审核效率、提升审核标准一致性、降低误判率。这个产品主要包括4大功能模块：
审核任务流转模块；
审核助手（核心AI模块）；
规则提示词+知识库；
审核结果管理模块。
其中，审核任务流转模块负责把不同类型的待审内容分发给对应的员工且支持人工任务流自动配置；审核AI助手支持3种审核能力：内容合规判断（是否有违规、敏感内容）；结构合理性检查（比如合同条款是否完整、字段是否缺失）和润色建议（比如文案风格统一、营销表达规范）。审核助手能够实现自动审核是通过规则提示词 + 审核标准知识库去喂给模型一套理解逻辑，这块模块是支撑准确性的关键。审核结果管理包括人工确认、反馈修正、结果追踪，以及用于模型微调的数据积累闭环。这块也有审核质检功能，方便分析AI准确率。
4、此外，我的主要工作除了做功能设计，也负责和算法沟通输出格式、评估AI审核效果、设计调优Prompt，协同运营侧搭建知识库等。
5、我觉得一个AI产品不能只看功能，更重要的是如何围绕业务目标，把AI能力无缝的应用到业务场景中，这部分才是我觉得作为AI产品经理的核心价值所在。
47、你是如何成功上线AI驱动的产品功能的，比如聊天机器人，个性化推荐系统等？
非常高频的大厂考题。本质上是想考察你是否有真正推动AI能力上线落地的经验和思维方法，包括是否具备跨部门协作、拉通、落地推动力，是否懂得把AI能力融入业务目标的综合能力。可以结合二、10题及其他考察0-1能力的类似题目一起准备。
【回答思路】结合你的真实项目经验讲从0-1：你的产品目标 → 业务场景 → AI能力匹配 → 数据闭环 → 具体落地步骤及路径 → 评估与迭代。这个框架是万能的，所以AI产品0-1都是这么做的。
【回答示例】“我在过去做AI产品0-1的过程中，我的整体流程是：找到AI能落地的场景 → 制定产品目标 → 落能力 → 数据闭环 → 推动上线 → badcase分析及持续迭代优化。我可以举一个我负责过的AI客服机器人的例子来具体说一下。”
1、识别场景，明确目标：客服团队最直接的问题就是：每天用户问的问题重复度很高，而且质检压力也大，人工成本居高不下。所以我先和业务方一起梳理场景，把目标明确下来。具体有3个：
提升首答率，尽可能用机器人来首轮回复；
降低人工成本，让机器能处理常规问题；
覆盖高频FAQ问题，解决掉“一问一答”的标准场景。
2、拆解业务问题，结合具体场景看如何通过技术/AI能力实现：分析了几千条历史工单，发现其实80%的问题是“高频、标准、规则类”的问题——比如“发票怎么开”、“快递多久送到”这类。所以我们没有直接上最重的大模型，而是用了比较稳妥的组合方案：
用意图识别小模型来做问题分类，先判断属于哪类场景
用RAG建立FAQ召回+知识检索
用大模型负责最终回答生成，保留语义灵活性
3、分析数据构建知识库：我主导整理了2万条历史问答，能不能落地，全靠前期的真实语料知识库和业务对齐。所以我做了3件事：
过滤噪声 + 提取标准问法
按意图打标签（比如“退款流程”、“发票问题”）
跟业务确认标准答案口径，构建了第一批FAQ知识库
4、先做MVP，推动上线：先拉通了工程、算法、测试，把bot MVP快速做出来：
灰度测试：让这个新功能“只对一小部分用户可见”，做一轮试运行，以观察效果，控制风险。具体做法是：放1个入口：例如只在“官网客服”页放bot接入，不在App、微信等渠道上线；接30%的FAQ流量：不是所有问题都给bot回答，而是：仅让bot处理“30%常见问题”，比如：发票开具、物流状态、退换政策；
人机协同：用户先问机器人，答不上就转人工，确保体验
实时监控命中率和转人工率，每天看数据做分析
5、评估产品效果，持续迭代：我当时设计了3类评估指标：
命中率（机器人答上来的比例）；
用户满意度（用户反馈打分）；
转人工率
我每周都会组织一次badcase复盘会，把问题分成“意图识别错了”、“检索未命中”、“回答不准确”三类。然后定向优化prompt、调整知识库和语料。最后首答命中率做到76%，节省人工客服成本大概30%，业务方也愿意后续再扩更多场景进来，比如物流查询、售后催单这些。所以我一直觉得，AI功能上线的关键点不是调哪个模型，而是有没有真的解决业务的痛点，用对的方法跑通“场景-数据-能力”这一整条链路。
48、你是用哪些指标来评估你做的AI AGENT的实际效果的？
模型/产品评估体系必考，agent和rag同理，本质上都在考察是否有产品闭环意识（输入→过程→输出→反馈），是否有可量化的衡量标准。p.s. 不同业务场景的agent有共性和个性化的评估体系，需要结合自己的项目重点梳理个性化的评估指标。
【回答思路】
指标从哪来（从场景出发），到底有哪些维度，先总结维度
用你做过的Agent项目进行举例和指标拆解
如何持续优化，体现方法论闭环
【回答示例】以电商客服agent助手举例：
1、我当时主要负责的电商客服agent，不是单纯的对话问答，而是具备执行能力的，比如可以帮用户修改收件地址、申请退货、重新发货等等。那这样的Agent，我会从以下几个维度去评估它的效果：
是否理解准确，也就是任务理解/意图识别能力，比如用户说“我改一下收货地址”，Agent能不能理解真实意图
Agent的执行能力：也就是工具调用是否成功？参数是否准确？
用户体验，是否满意：Agent回答是否顺畅，在几轮内解决了用户问题，用户满意度如何
业务价值：是否减少人工介入，提升了自动完成率
2、用一个真实场景来讲，用户在包裹发出后，说“地址写错了，我想改成我的公司地址”，这是一个典型的指令型任务。Agent的流程是：用户query → Agent识别意图 → 提取新地址 → 验证信息 → 发起地址修改请求 → 收到接口回执 → 回答用户执行结果。那么在这个流程中，我们主要关注几个核心指标：
意图理解是否正确：是要修改地址，而不是咨询发货物流
工具调用成功率：触发的API是否返回成功？比如调用“修改地址”接口返回200成功响应
执行准确率：地址参数是否提取正确？有没有改成用户说的那个地址？
任务闭环率：整个流程有没有自动化完成，后续用户没有在结束前再次求助或转人工
用户满意度：平均交互轮次；有无负面评价或二次投诉等
工单替代率 / 降本率：Agent替代了多少客服人工操作，如：每天减少300单人工地址修改请求
3、再把评估体系嵌入到整个Agent的设计和版本迭代中，这里面的重点工作是badcase的分析、验证和反馈：
如果失败看是哪步错了：识别错、参数错、接口失败：如果是参数提取错了，需要加强地址解析的正则 + prompt；如果是API异常，我们会加重试机制或权限校验
多版本AB测试：同一类型任务采用多个Prompt/策略版本，进行真实任务成功率对比
引入反馈闭环：对于失败案例，通过人工精标，作为微调数据对agent进行微调，提高准确率
49、RAG优化时，（1）元数据和标签，你是怎么做的？（2）上下文的窗口长度是多少？（3）向量检索、关键词检索、重排序之后，分别返回的是top几的切片？
非常常规但是容易被忽视的内容，包装or真做过一道题直接问住，rag相关项目这些基础问题一定都要准备，每个rag项目都不一样，所以标签体系也不一样，仅做示例。
【回答示例】以电商问答助手举例，知识库内容覆盖物流规则、售后政策、用户协议等文档，还有一些问答FAQ。
1、元数据：为了提升召回的精准度，我在文档分块的时候，分别做了元数据补充和标签体系设计，会写进chunk的metadata。元数据是用来辅助系统更高效检索和排序的，支持快速定位原文，具体包括：
•
来源文档（source）：比如来自“用户协议文档V2.0”还是“常见问题文档”
•
模块定位（section_id）：比如“售后政策-第4节”、“物流规则-1.3条款”
•
创建/更新时间（timestamp）：用于后期做增量/版本对比
•
chunk ID和位置信息：方便回溯到原始文档或做高亮提示
2、标签体系：为了支持检索、意图匹配、Rerank模型用，帮助理解chunk属于哪个“语义域”或“业务主题”。我们设计了2大类标签：业务标签和功能标签：
•
业务标签：如“物流” / “退款” / “地址变更” / “订单修改”，基于我们对用户历史query做了聚类，提炼出几个常见意图，再人工打在chunk上的，为了辅助意图匹配 + rerank调权重
•
功能标签：如“常见问题” / “使用指南” / “售后说明”，用来标识内容结构和业务模块，比如我们给模型写提示词时，就可以在前面加一句：“请结合‘官方售后说明’来回答下面这个问题。”这样模型在生成时就更容易往“售后相关”的角度去答，而不会答跑偏。
3、上下文窗口：我们用的是开源embedding模型配合Qwen 72B的LLM，窗口大小在测试阶段试了两档：
检索进prompt前：每个chunk控制在250-300 tokens，避免截断造成语义不全；
prompt总体长度控制在2k tokens左右，因为太长用户问题容易被压缩、也会拉低生成质量。所以我们一般做法是：top 3~5个chunk拼进上下文，长度不够再补；并且在chunk切片的时候，采用“句子级+重叠窗口”策略，确保语义连续性，比如每段重叠50 tokens，避免知识断层。
4、向量检索、关键词检索、重排序之后，分别返回的是top几的切片：我们一般会设一个召回池K=15左右，然后用reranker做打分排序，比如采用bge-reranker模型，最后取前3~5个内容进入最终上下文。如果是涉及到混合检索，
50、你的AI产品的用户满意度是如何收集的？
常考题，如果你的项目结果有用户满意度那被问到的概率很大。
【回答思路】
分阶段策略（不同阶段用不同手段）
多种方式融合，而不是只靠问卷或单一指标
是否形成可持续的闭环迭代机制
【回答示例】以电商问答agent助手为例：我做的ai项目中，收集用户满意度靠：用户主观直接反馈 + 客观技术指标分析 + 用户行为信号自动判分3种方式进行结合，同时我们会把这些结果沉淀成Bad Case筛查和闭环优化，保证体验能持续提升。
1、在研发和灰度测试阶段：我们会找一批内测用户（比如xxx专家），让他们真实体验后打分，比如1-5星或者好/中/差，这种方式简单粗暴但是够快够直接；同时我们也会用评测集，让专家或者运营人员人工打标签，看回答的准确率和是否跑偏。这样可以在小流量阶段就快速发现大问题
2、产品上线初期：我在对话界面加一个简单的反馈入口，比如“采纳 / 拒绝”两个按钮，用户点了之后就会将反馈收集上来。对于执行类任务（比如帮用户改地址），我们会看任务成功率，比如接口调用是不是正确完成、用户有没有再次提问或转人工，这些都作为满意度指标的一部分。
3、目前产品已经完成了0-1上线，处于规模化运营：
我们现在每天有几万条对话，不可能人工一条条看，这时候我们考虑用大模型或规则来自动打分，比如判断回答是不是答非所问、语气是不是太机械、有没有被用户多次追问。还会结合行为日志，比如用户是否转人工、是否点踩、停留时间等，综合评估满意度。而且我们自己做了一个数据看板，这些指标都会汇总进去，我们能按场景查看满意度趋势，每周定期评审Bad Case，输出可执行的改进方案（优化检索策略、调整Prompt、补充知识库内容），并上线小流量灰度验证。形成“发现问题—分析原因—优化策略—灰度验证—指标回看”的完整闭环，确保满意度能长期提升，而不是一次性动作。
51、短期记忆和长期记忆是怎么处理的？
和一、12题一起看，agent必考。
【回答示例】以问答agent为例：我做的这个Agent助手既能做知识问答，也能调用工具执行，比如查订单、改地址、触发接口任务。在设计记忆机制时，我们把它分成短期记忆和长期记忆，两个作用不一样：
短期记忆：主要是保证一次对话里的上下文连续，让Agent能接得上话。我们一般保留用户最近三到五轮对话，大概控制在两千个token以内，避免prompt太长。这部分会动态拼接进每次给大模型的请求里，让Agent知道前面问过啥、查过啥。比如用户说“把刚才查到的订单地址改成我家”时，Agent能明白“刚才查到的订单”具体是哪一单，不会答非所问。
长期记忆：主要是跨会话，把用户的关键信息沉淀下来，方便个性化和自动补全。比如将用户常用的收货地址、订单偏好、历史操作习惯等有价值的信息做实体识别后进行结构化保存，存在数据库，可以加上元数据（时间戳、来源、有效期），避免用到过期或错误的数据。比如当用户下次对话时说“改成公司地址”，Agent可以自动关联到它记住的地址信息，不需要用户每次重复。另外，用户的历史对话内容也会做embedding，存到向量库里，这样即便用户换种表达，比如“改成公司地址”，系统也能通过语义检索找到对应信息。
检索逻辑：当用户开启新对话时，agent会先检查当前上下文能不能解决，如果短期记忆中能找到直接用，如果找不到，就去长期记忆里查，先查结构化数据中的明确字段，再做语义向量检索，看历史对话里有没有相关内容。找到结果后，还会有验证步骤，比如确认时间戳是否过期，或者主动追问用户二次确认如：“要不要用上次的公司地址？”后，确认后才交给LLM用。
产品交互层面：我们给用户提供了管理长期记忆的入口，用户可以随时查看或管理。当记忆有更新时，也会在交互上提示用户是否需要更新记忆。对于高风险任务（比如修改支付相关信息），即便长期记忆里有数据，也必须让用户二次确认，保证安全。
52、RAG知识问答，你觉得到底是先query改写再意图识别，还是先意图识别，再query改写？
💡
这道题是美团问的，因为有个同学的query改写是在意图识别后做的，面试官和他争辩说改写应该是在意图识别前做，问他看法，此时一定不要被带到坑里，是需要结合实际业务情况的，不能一杆子打死，以下两种方案供参考。
【回答示例】在RAG知识问答中，采用哪种顺序更合理是需要区分业务场景的：
先意图识别，再改写：主要针对于意图不同可以定制不同的改写逻辑（FAQ类改写、数据查询类改写、操作指令类改写）
先改写，再意图识别：对多轮对话场景友好（上下文合并后统一识别），而且改写后的query更清晰，意图识别模型收到的输入更规范，有利于提升意图分类准确率
所以结合业务场景，建议如下：
针对多轮对话型RAG（上下文澄清多、问法不规范）：先整合上下文和补充缺失信息做改写，然后再让意图识别模型收到更干净的输入
单轮精准问答型RAG（query结构化明显）：意图可直接决定是否要改写、如何改写，节省调用和错误传递
多意图混合型Agent（既有问答意图又有工具意图）：建议先意图识别再改写，因为要先知道是知识问答还是执行任务，才能决定改写策略
当然，在平衡成本和效果的前提下，也同样建议做二次改写：先轻量改写（比如基于规则补全缺失信息、规范问法）去提升意图识别准确率；意图识别后，再二次改写（基于LLM），在进入检索前统一语义。
53、你在AI项目中，最深的一次产品思考是什么？它如何真正影响了产品的设计或落地？
送命题，好几家公司考了，不点名哪些家了，由于项目细节不一样，这里给大家案例，提取共性往自己项目里去套（用好AI），要体现有推翻、迭代、甚至逆向思考。
💡
【提示案例】注：这里的研究员=用户
案例1：准确不等于满意度
早期我以为只要AI问答做到准确，研究员就会买单。但在用户访谈中发现，即使检索很精准，研究员仍然觉得“用起来慢”。原因是——输出内容过长、过细，需要他们二次加工才能落到报告中。所以准确不等于可用，在高压的工作节奏中，节省加工成本比单纯提高准确率更重要。
优化措施：增加“直达结论”模式：优先给出一句话结论 + 核心数据点，再附带可展开的长内容。在长文档中自动高亮关键证据并生成“证据卡片”（卡片内含原文摘录 + 来源链接），用户复制即可粘进PPT或研报的“参考文献”部分。
效果：用户单次信息加工时间平均减少35%，在MVP试用调查中，这个功能的满意度甚至超过了检索准确率。
案例2：不过多“教”AI——让AI学会沉默，持续与研究员对齐
在最初的Prompt设计中，我要求模型尽量给出完整答案，即使资料不全也要“推断”补齐。但这在金融研究场景里导致了一个严重问题：幻觉信息被用户引用。于是我反向思考：我们是否应该让AI在不确定时选择沉默？
优化措施：在Prompt中引入“置信度判断”机制，不足阈值则只返回“未找到确凿资料”，并附带引导到原始数据位置。在UI层加上“引用来源可信度”标识，方便研究员一眼判断。
效果：幻觉率下降40%，且用户在二次验证环节的时间成本下降明显，信任度指标（MOS评分）提高0.6分。
案例3：不是全自动就是好的，AI应该是研究员的第二双手，而不是替代研究员
最初我设计的方案是让AI全自动生成研报中的背景分析段落，甚至直接输出到成品文档（端到端）。但试用反馈意外指出：“全自动”让研究员对结果的掌控感下降，他们担心AI代替他们的判断，甚至对文档可信度产生怀疑。这让我意识到，在专家型用户场景下，AI不能剥夺了专家的参与感。
优化措施：把生成逻辑拆成：AI先产出提纲（框架+要点）→ 用户二次选择 → AI再补全（人机协同）的两步走模式。提纲阶段标注每个要点的信息来源与置信度，用户可以手动剔除或保留，再让AI生成最终段落。
效果：研究员对“最终输出可信度”的打分提升了22%。二次加工时间缩短了30%，但用户反馈的“主导感”提升显著。
54、你的RAG知识库的数据清洗是怎么清洗的？比如大概有10年的数据，里面一些老旧的数据，怎么进行清洗的，怎么提高这个数据库的质量的？
【回答示例】对于十年历史、老旧的数据，我们不是一刀切，可以通过：时效性、使用频率和业务重要性的维度进行筛选，再加上标签和重排序机制，让知识库内容既全面又干净，确保用户拿到的都是可信、有用的信息。
（1）基础清洗：主要做格式和内容规范化
•
a) 去掉重复内容、无效的空白文件、格式损坏的文档。
•
b) 统一格式，把Word、PDF、Excel这些不同格式的内容转成统一的文本切片，方便后续做索引。
•
c) 同时用OCR或数据结构化提取，保证内容能被准确检索到
（2）淘汰无用或过时的内容：对于已经十年的数据，我们不会一刀切，而是按几个标准来筛：
•
a）过时的政策、已废弃的业务规则，会打标签或直接剔除，避免误导。
•
b）统计最近的查询日志，哪些内容一年几乎没人问，优先不整理或者标记为低优先级。
•
c）有些老内容虽然旧，但仍被频繁引用（比如长期不变的产品规格），这类会保留，但加上“已验证”标签。
•
d）结合业务团队反馈，哪些资料现在还被用作培训、客服支撑，就优先保留。
（3）提高数据库质量的做法：对每个文档或切片都会打标签，增加元数据：如带上更新时间、业务分类、重要性标签，这样检索时可以优先排序，避免用户先看到过时内容。
重排序：增加加权因子：如业务优先级标签、时间权重，使得比如更新越近的内容，分数加成越高，低频内容减权，最后用一个综合分数重新排序（如综合分 = 相似度得分 × (1 + 时间加权) × (业务标签系数) × (使用频率系数)），取综合得分最高的前10条返回给模型做回答。这样即便老内容保留，也会通过Embedding检索+业务标签，让新内容优先展示。
大模型+人工兜底方式：不可能让人力一条条看十年的文档，会先让大模型跑一遍所有文档切片，检查格式异常、时效性的问题、过滤明显无关的内容，再交给人工做最后确认，重点抽检被大模型标记的内容，决定这条内容是删除，还是打上“历史资料”标签，同时可以顺便补充一些业务标签。最终清洗后的内容入库时，都会带上状态标签（有效/历史/废弃），后续检索时能自动区分。
拓展问题：如果文档中有图片、视频，有涉及到一些干扰的信息，如何清洗？
区分有用和无用的图片/视频：比如流程图、产品图、操作截图等可以保留，而且可以通过OCR或多模态模型提取文字说明，生成对应的描述文本，让它能被检索；对于无关内容如广告图、装饰性图片会直接剔除或打上“非核心内容”的标签，让检索时默认不返回
提炼关键信息，减少冗余：视频或复杂图像如果和业务强相关（如产品使用教程），可以用语音识别+文本摘要，转成文字段落；原始视频文件不会直接入库，只会把关键信息抽出来，避免占空间、降低检索性能。
清理干扰信息：为清理老文档中的广告/历史活动页/水印等噪声，我们通过规则引擎（正则+词典）自动识别并打上【非业务内容】标签，再进行抽检复核，避免误删。
清洗后的图片和视频内容会生成文本描述或标签，作为元数据入库。这样即便用户问“这个产品怎么安装”，检索到的也是经过提炼的步骤，而不是一堆原始素材
55、如何设计一个支持多轮对话的AI Agent?
💡
但凡你做agent支持上下文多轮对话，都是考点重灾区，需要至少命中4个部分：上下文管理、意图识别与槽位抽取、对话状态管理、中断与变化处理，需要结合自己的项目/场景去围绕以上4个部分进行回答。
【回答示例】设计一个支持多轮对话的AI Agent时，关键在于能够管理上下文、提取关键信息、合理控制对话进度，并且能够应对用户的变化和中断。通过这四个步骤，我们能够实现流畅、智能的多轮对话体验：
1、记录对话历史，也就是AI需要能够记住用户的历史对话。AI需要在多轮对话中记录用户的历史信息。通过实现记忆memory，AI可以记住每一轮对话内容，帮助理解上下文，避免重复询问。例如，用户在询问“订机票”后再问“10点的航班”，AI能够通过历史对话理解这是关于订机票的提问，而不需要重新确认用户的意图。
•
短期记忆：对于一次性任务或简单对话，只需要保存较短时间内的对话历史（如5轮内），即可满足需求。适用于快速完成的任务，如直接预定机票。
•
长期记忆：对于需要多次交互和长期跟踪的任务，AI需要保存用户的历史信息，以便在后续对话中调用，例如用户在多次交互中修改日期或目的地，AI需要跨会话地跟踪这些变化。
2、提取关键信息，需要在多轮对话中提取关键信息。使用意图识别和槽位提取来实现。当用户提供不完整信息时，系统能够自动识别并请求用户补充。例如，如果用户说“帮我订机票”，AI会先识别出“订机票”这一意图，然后询问时间、地点等必要信息，确保信息完整后再执行任务。
3、在多轮对话中，管理对话状态非常关键。AI需要知道当前对话处于哪个阶段，并推动对话向前发展。我们可以通过使用状态机或对话流程图管理对话的进度。每一个步骤完成后，AI会检查是否满足下一步的条件，推动任务向前发展。
•
进度控制：在订机票场景中，AI首先询问出发城市，再询问目的地、出发时间，最后确认舱位。每完成一个环节，AI会进入下一步，直到用户的需求得到完全满足
•
逐步推进：这种状态管理确保了对话不至于过于急促或混乱，用户每次与AI的互动都有明确的目标和任务，使得整个过程流畅高效
4、Agent需要能够灵活处理用户的中断和意图变化。通过对话状态检测、上下文推理以及意图变化识别来管理中断情况。当用户改变主意时，AI能够识别到变化并重置当前任务，开始新的任务。比如，用户在订机票过程中突然改变主意想订酒店，AI应该能够检测到这个变化，并且能够清空之前的任务，重新开始处理新的任务。此外，对话中可能会有很多突发状况，例如，用户的请求模糊不清、重复提问、话题跑偏等。AI需要具备异常检测能力，识别并及时做出调整。例如，AI可以通过自动问候或解释“对不起，我没完全理解您的问题，能否再详细一些？”等方式进行有效恢复，而不是一味地继续进行错误的对话。
56、AI应用里memory机制是什么样的？多轮对话和记忆是如何配合的？memory记录了什么信息呢？
如果你的项目中提到了agent多轮对话、上下文记忆，100%会问。我这里用一个订外卖的Agent来做举例（以下内容请你用你的项目去套用，实现方案都是类似的）。
【回答示例】在AI的多轮对话中，记忆的核心目标是帮助AI理解和保持上下文，确保每次对话都能基于历史信息进行有效的响应，而不是每次都像重新开始。通过记忆，AI能存储用户的历史输入，并在后续对话中使用这些信息来提高响应的相关性和连贯性。
1、记忆主要涉及2个方面：
上下文跟踪：Agent需要理解用户的连续需求，并根据对话的历史上下文进行响应。
信息的存储和更新：Agent能记住用户的关键信息（如偏好、已选择的选项等），并在后续的对话中参考这些信息进行响应
比如，在订外卖场景中，记忆主要记录以下关键信息：
•
用户偏好：如用户常点的餐品、餐厅，是否有特别的口味要求
•
时间信息：用户偏好的送餐时间等
•
对话历史：用户过往选择的餐品、送餐时间、支付方式等。
•
任务进度：AI在多轮对话中需要跟踪任务的进度，确保每个步骤完成后都能继续到下一个环节
2、在订外卖的场景中，用户和Agent可能会进行多轮交互。假设用户想订外卖，整个过程分为多轮对话。在每轮对话中，Agent需要通过记忆来追踪并确认用户的需求并逐步推进任务。比如：
第1轮对话，Agent记录用户的需求是点披萨，并等待用户下一步的响应，等待用户选择餐厅
用户query：“我想点个披萨，今晚送到家里。”
Agent回复：“好的，您喜欢哪家餐厅的披萨？或者我可以推荐一些附近的餐厅。”
第2轮对话，Agent追踪了用户选择的餐厅和餐品，并继续引导用户确认送餐时间
用户query：“我喜欢‘XX披萨’，请给我一个大号的意大利风味。”
Agent回复：“好的，已选大号意大利风味披萨。请问送餐时间是今晚几点？”
第3轮对话，Agent使用记忆确认送餐时间，并根据对话历史引导用户完成下一步操作。
用户query：“大概8点送到吧。”
Agent回复：“好的，您选择的是8点送达。最后，您想使用优惠券吗？”
3、在以上这个过程中，通过memory跟踪和存储有价值的信息，确保后续对话能够更加高效和个性化，具体包括以下信息：
•
用户的个人偏好：（长期记忆）如用户是否常常点披萨，是否偏爱某个品牌或餐厅
•
历史订单信息：（长期记忆）如用户之前选择过的餐品、送餐时间等
•
任务进度状态：（短期记忆）如当前步骤是选择餐品、送餐时间，还是支付过程。Agent需要知道目前任务处于哪一个环节
•
用户特定需求：（长期记忆）如用户是否有口味偏好、是否有过敏源等
57、针对于不同的badcase，如何建立自动归因的工作流？如果是因为知识库不存在知识，但有置信度较低的其他知识，这时候如何通过“自动化工具”判断，是知识库不存在相关片段，还是因为召回重排的打分机制问题
场景题，面试官希望考察在复杂场景下如何设计自动化的归因机制，并能够提供一个完整的工作流，需要具备系统设计能力，能够结合具体问题场景，设计出合适的自动化工作流。
【回答示例】这是场景核心在于如何通过自动化工具判断bad case的根本原因，尤其是如何判断是知识库缺失还是召回机制问题：
知识库覆盖度：需要判断查询失败的原因是否是因为知识库中根本没有相关的知识
召回算法：如果相关知识存在，是否是召回机制的覆盖不够，或者召回不准确
排序机制：如果召回的知识准确，是否是排序机制导致了低置信度结果的产生
在实际的工作流中，我们可以设计一个自动化归因系统，首先对每个bad case进行记录，获取查询的详细信息，包括召回的知识片段、打分机制、查询的匹配度等。然后通过以下步骤判断具体问题：
检查召回机制：通过设置召回的置信度阈值，分析召回的内容是否足够准确。如果召回的内容不准确或不相关，后续可以通过优化召回算法，调整召回范围来提升召回的准确度。
检查知识库覆盖度：如果召回机制准确，但仍然返回低置信度的结果，可能是知识库确实缺乏相关内容。此时可以输出结论，判断是否需要补充新的知识片段。
设计归因规则（后续扩展）：根据归因的结果，系统可以自动生成反馈。如果是召回机制的问题，系统可以通过日志分析自动调整召回算法，优化召回策略；若是知识库缺失，系统会自动向知识库管理团队反馈，推动知识库的补充
那么对应到技术方案上，具体方案如下：
1、数据收集与日志记录：
使用日志收集工具记录每次查询的详细信息，包括用户输入的查询、召回的知识片段、召回的分数、置信度评分、查询的响应时间等
结合日志分析平台，实时监控和识别召回结果和查询的相关性。
2、自动化归因规则的设计与实施：
需要在系统中预定义：通过规则引擎设置不同的归因条件：
◦
召回精度检查：基于召回条目的相关性评分，判定召回结果是否为低置信度。如果召回的结果的评分低于某个阈值，可以归因于召回机制。
◦
知识库覆盖度检查：通过对召回结果的比对，判断知识库中是否缺少某个特定领域的知识。例如，如果没有返回任何结果，自动判断是知识库缺失。
归因后系统可以输出一个清晰的结果，指示是召回机制问题、排序问题，还是知识库缺失问题。
then可以做适当举例：这里假设一个场景，假设我们的AI问答系统服务的是一个“法律咨询平台”，用户通过自然语言查询相关法律条文或案例。用户询问：“什么是侵权责任法中的过失？”系统返回了一个相关性较低的答案，置信度为50%，并且没有给出具体条文。我们需要通过自动化工具判断这个问题的归因是知识库缺失还是召回机制的打分问题。
1、检查召回机制：首先检查召回的条目，发现系统确实找到了相关的法律条文，但召回的条文是关于“侵权责任”的，而不是专门定义“过失”的条款。所以，我们的召回机制没有精确匹配到真正需要的内容。这时候，我们通过自动化工具分析召回日志，发现系统在检索过程中没有充分考虑到过失这个具体的关键词。根据这一点，我们可以归因为召回机制问题，系统需要优化其召回算法，增加对具体法条关键词的敏感度。
2、检查知识库覆盖度：若召回结果为空或相关条文没有返回，这时我们需要检查知识库中是否存在相关内容。如果知识库中确实缺少过失相关条文，那么就是知识库覆盖度的问题。假如知识库中没有相关法条，系统会通过自动化反馈机制，将这个缺失的知识点记录下来，并自动提醒知识库团队进行补充。
基于以上分析，系统会根据召回机制的反馈或者知识库缺失的提示，自动将归因结果传递给相应的团队（后续拓展）：
如果是召回机制的问题，系统会自动记录并分析召回过程中的权重调整、关键词匹配等，并提出优化建议。
如果是知识库缺失问题，系统会自动生成补充建议并推送给知识库管理人员，确保及时更新。
58、你在构建知识库的最大挑战是什么？是如何解决的？
AI产品经理面试常考问题，但凡你做rag可能都会涉及这个问题，绝大部分同学并不清楚在知识库的构建中作为产品经理要做什么，感觉就是技术主导，所以这道题务必要准备。以多模态RAG为场景进行举例，假设：多模态内容的结构化和统一管理是最大困难（供你参考）。
【回答示例】在构建知识库的过程中，我认为最大的挑战不是技术实现，而是多模态内容如何被高质量结构化并统一管理。我做的xx助手是一个多模态RAG问答助手，知识源包括Word、PDF、图片、扫描件、表格等等。刚开始时，知识导入很容易出问题，比如：用户问“塔吊操作规范”，系统却检索出“安全培训签到表”，因为文档层级混乱、表格内容分割不清、图片没被识别出，效果很差，最终也导致检索召回率很低。后来我们从2个方向去解决：
1、结构化处理：通过多模态OCR-VL模型把图片、PDF等统一转换成可解析的markdown结构：
•
图片类资料（如施工现场照片）：OCR提取+图像说明 → 转成图片+文字描述的组合节点
•
表格类（如质量验收表）：转成结构化Key-Value对
•
文档类（如规范手册）：标题分层 + 内容chunk切分（保持上下文连续）
同时为每个chunk补充元数据（来源、时间、文件类型、章节名），模型检索时能自动过滤掉“非相关文档”，召回范围缩短了30%，延迟也降了约25%。
2、为每类知识建立了标签体系：
比如：当用户问“安全员需要多久复训一次”，我们就优先召回“培训记录”标签下的内容，而不是去查施工规范。在系统实现上，我们在RAG检索时通过元数据过滤实现先筛标签再召回embedding。
3、建立了知识更新工作流，每次知识更新后自动触发embedding重建，并通过日志分析发现用户高频问答空白区，每个月由业务专家审核新增内容后自动入库，这样就让知识库从静态文件堆变成动态知识。
经过这三步之后，整个RAG系统的召回准确率提升了40%，延迟降低了约30%。同时我设计了两类指标：
技术指标：多模态OCR识别率、chunk重复率、检索Top-k命中率
业务指标：问答准确率、知识缺失率、召回响应时延
且每2周对badcase进行归因，看问题出在OCR识别、知识缺失还是embedding误召回。这样我们就能持续优化知识质量。
59、你是如何评估用户满意度的？
这道题结合50题一起看，考AI产品经理基础方法论，同时也是考察评估体系。
💡
【回答方法论】可以把这道题拆解成为4个关键词：数据可追溯、模型可解释、用户行为隐形信号识别、体验可迭代，分别套用到你自己的项目中去。
60、提问次数太多，上下文过长导致对话脱节，你们是怎么做的？
这道题是深水区，涉及到技术方案的设计和理解，其实还是在考察多轮对话如果保持上下文一致性，建议和51、55一起去准备。
61、你觉得你的AI产品哪个模型评估指标的优先级是最高的？（项目为电商助手客服）
这道题需要和整体的评估体系面试题一起去考虑，本质上还是在考察你对于业务场景的理解，在评估体系中的众多目标哪些是最重要的以及对于业务的影响是什么。---
62、在你做的项目中，请你详细说明下大模型是如何调用的？