从前辈的面试分析中规划自己的成长路径

作者 Caligo 日期 2019-03-05
从前辈的面试分析中规划自己的成长路径

这是一篇来自行业前辈的面试回顾分析,一开始在 zaker 看到,自己阅读之余又另外做了一下梳理,希望通过该分析来思考产品经理这个职业对项目、对个人的能力提升路径提供思考。

原标题:AI 产品经理-面试经历总结

作者:RamyWu

blog:http://www.ramywu.com

两个大问题

1. AI 的价值是什么?

从宏观角度来说,AI 价值主要有两方面:

  1. 改进甚至替代现有的人工行业;

  2. 创造新的行业契机;

2. AI 产品经理的价值?

  1. 先思考 AI 在产品的价值中发挥什么作用,「改进」还是「创新」?

  2. 在不同的产品中, AI 产品经理的工作是如何产出与量化的呢?基于这个大问题,延伸出两个核心问题:

    • 「AI 如何应用于产品?」

      • 这个问题的背后实际上是回答:「AI 产品经理的工作如何产出?」
      • 包括:产品中的哪些问题应用了 AI?AI 技术如何工程化落地到产品上?…
    • 「AI 产品如何衡量?」

      • 这个问题的背后实际上是回答:「AI 产品经理的工作如何量化?」
      • 包括:AI 产品的用户体验有哪些指标?与传统的产品衡量指标相比,应该如何衡量?如何分解指标?…

展开

以下是面试官围绕这两个核心问题,根据我的项目展开了具体的面试提问。我也对每个问题当场的回答与事后复盘的思考作了整理,也许还有许多没问到的问题,也需要自己未来多加注意。

AI 如何应用于产品?

基于该核心问题,延伸出多个从属问题,包括:

  1. AI 产品应用了哪些 AI 技术(或其他科学原理),如何应用?

  2. AI 产品经理在 AI 技术工程化的过程中,主要工作角色是什么?

  3. AI 在产品中取得的最终效果如何?作为 AI 产品经理,总结了哪些成功的经验或失败的教训?

    ###

「你是怎么将算法从技术 demo 包装到产品上的?」

面试官根据简历上的项目描述,要求介绍产品的功能,举例某个算法技术包装到产品的流程。

我的回答:

  • 根据当时的团队背景,概括该项目从算法到产品落地的完整流程;

  • 而我作为 AI 产品经理,主要负责的部分流程,根据项目举例,如:

  • 需求分析:如何找出客户的真实需求,并排列优先级

  • 产品设计:根据客户当前情况,给出怎样的具体方案

  • 数据标注:分析数据与算法原理的关系,编写标注文档,并带领数据团队收集数据与推进标注

  • 工程合入:技术工程化需要跨部门沟通,在不同的部门合作中如何成功推进

  • 产品发布:…

「你是如何将认知科学原理应用到产品层面的设计上?」

面试官会根据我的项目介绍提到的「基于人工智能技术与认知科学原理 …」展开提问。

  • 首先分析产品的背景,包括:目前市面上现有的产品对哪部分需求没有满足,而我们的产品基于这些原理,在市场上可以满足哪些需求

  • 如何基于 xx 原理来满足 xx 需求:举例某个 xx 原理的含义与应用过程,如:

  • 根据原理,提取了哪些规则,并如何将规则细化和分类 …

  • 而不同的规则,分别运用了怎样的技术来解决

  • 如果面试官不打断,我继续回答,在 xx 原理到技术的过程中做了哪些事情,包括参考哪些资料来梳理这些原理的规则、制定了哪些指标,来衡量这些原理的应用效果

「你在做这个产品的过程中,主要做了哪些事情?」

这个问题一般是基于某个项目细节去追问,一般不会单独问。但有面试官会换一种问法:「你的工作方法是什么?」或是「你做产品的工作流程是什么?」

我的回答是:根据项目的真实情况来举例回答。

  • 市场调研 - 收集需求 - 需求分析 - 制定产品方案 - 团队沟通和项目排期 - 跟进项目开发中的问题 - 调整 - 制定评估标准 - 测试用例 - 测试 - 发布 - 线上数据分析 - 收集反馈 - 第二轮迭代 …

而根据我上面的回答,面试挑某个流程钻进去问,比如:

  • 怎么做需求分析

  • 怎么做产品规划

  • 用户调研的方法

现场按自己的记忆来梳理,也没有提前准备。面试官建议我掌握业界标准的产品经理方法论和工作流程。

而事后,我也反思该问题:回答缺漏的原因也许并不是我对该问题准备不够充分,而是在之前的工作中就没做到位。所以,我需要在之后的工作中加强学习业界产品规范。

「你在这个项目中最重要的角色是什么?」

这个问题通常是在上一题问完工作流程后,进一步考察产品经理对工作角色的思考深度。

我当场的回答是:

  • 产品经理最重要的是发现问题与解决问题。然后举一个具体的例子来描述。

  • 后来面试官也给了我许多中肯的建议:产品经理应该更关注用户价值,为用户创造有价值的产品。

事后我也继续思考该问题:在不同的公司或团队背景下,对不同层级的产品经理的角色 / 要求是否不太一样?而自己的感觉是,产品经理最重要的是「做正确的事」,然后是「正确地把事情做出来」。而如何界定「正确」的标准?这个问题我还在思考,也希望与大家多多交流该问题。

「这个产品的核心价值是什么?」

5 论面试有 3 轮产品总监都问到这个大问题,说明该问题在工作思考中非常重要。

我在当场的回答:

  • 产品的价值有多个维度:用户价值,商业价值等

  • 举例产品如何满足用户需求,发挥产品价值,包括:

  • 产品面向的是哪些用户群体

  • 他们在真实场景中的痛点是什么

  • 产品的什么功能解决或缓解了这一痛点

  • 产品最终达到了怎样的效果,是否满足了用户价值(是否达到衡量指标)

当场的回答并不好,毕竟自己做过的产品也不算非常成功。后来总结了某些失败的教训,也在该问题结束前一并提出。

事后在整理本文也思考:AI 产品的价值点,如果是根据「创新」和「改进」来分类,(1)为什么 AI 驱动的创新对用户来说很重要?(2)传统产品的问题为什么需要 AI 来改进?

「为什么这个产品后来没有达到预期?最根本的原因是什么?你总结了哪些深刻的经验和教训?」

面试官对成功的项目只是粗略带过,而对失败的经历会问得更深。

我当场的回答,是从「市场 - 用户 - 产品 - 技术」没有形成闭环的角度来回答这个问题。

  • 最小产品当时投入到市场,目的是为了验证是否满足 PMF,有三种满足 PMF 的方式:

  • 第一种,先找到一个细分市场,直接推出产品去满足该市场的用户需求;

  • 第二种,某个细分市场已明确存在,但是目前满足这个市场的产品的体验仍不够好;

  • 第三种,当市场的用户需求不存在时,发明一款产品,去创造出一个新的市场;

  • 举例分析我负责的产品,属于上面哪一类产品,然后证明产品和市场是否匹配。失败的原因是未满足 PMF,闭环未形成。而 AI 产品比普通产品更难满足 PMF 的难点在于:如何选择合适的市场切入?AI 落地,不仅是工程化方面,还需要考虑 技术与产品的匹配点。

  • 需要在大规模数据量的业务积累下,对 AI 产品有相对明确的需求

  • 能对用户体验指标有具体的定义与标准化,然后拆分让技术实现的场景

因为经历过一些失败,了解了某些 AI 产品为什么无法满足 PMF。这也是我为什么要来到垂直行业做 AI 产品经理 的原因。我也告诉面试官为什么明知失败,背后没有去做这些事情的原因;同时在过往经历中也发现了自己在产品方面的短板,需要不断加强积累。

AI 产品如何衡量?

衡量一个产品的标准可以被定义为:「一个真实的用户对于该产品的感知」,包括:这个产品的易用性如何?产品功能的丰富度如何?反应速度如何?扩展性如何?精致度如何?Bug 多不多?衡量一个市场大小的标准可以定义为:「该市场的用户的数量和增长率。」

那么,AI 产品应该如何衡量?基于该核心问题,延伸出多个从属问题,包括:

\1. 首先是 AI 产品的用户体验如何测量?与传统的衡量方法有什么区别?设定了哪些衡量指标?

\2. 根据什么标准来设定的这些指标?

\3. 哪些指标与 AI 相关,哪些不相关?

\4. 应用了 AI 技术的指标,产品指标是如何分解到 AI 技术指标的?

\5. AI 产品经理如何完成这些指标?(进一步提问技术细节,考察产品经理对数据和技术的理解)

「怎么衡量产品的效果与指标?」

这个问题被所有面试官问到,非常非常非常重要 ,也会被问得很深,指标要求说出具体的数字。

根据项目的某个功能点,举例回答产品指标的参考标准;

  • 被追问「你选择的这套标准,是否适用于用户场景?用户是怎么评价这个效果的?」

举例回答产品效果的测量方法,包括:

  • 如何分解产品指标到技术 / 算法指标,如何定义算法规则?

  • 如何测试产品功能改进后的效果

    • 被追问:「测量时,如何选取测试数据?如何评估数据的好坏?」
    • 被追问:「如何评估用户体验有所提升?」
      • 如「速度变快」具体指的是哪个流程变快
      • 如「速度变快」的结果,具体数字是从 xx 分钟降低到 xx 秒

面试官会对其中一个问题,深入技术细节展开追问:

  • 「如何平衡召回率和准确率,为什么优先准确率?」

    • 举例,不同指标对用户造成哪些不同程度的影响。
  • 「如何在不损失准确度的情况下,提高召回率?」

    • 举例,产品背后使用了哪些算法,讲解算法工作原理以及发挥哪些作用
    • 不同的算法原理,提升了哪些产品指标,具体细节,具体数字 …
  • 「你依据什么标准拆解规则,做了怎样的分类?」

    • NLP 的问题难点在于制定规则拆分的逻辑,需要结合规则背后的语言学规律,以及产品结合用户行为等场景计算规则的实用性。
    • 举例:不同类型的规则,分别采取了哪些方式来提升指标,比如 NLP 的 n-gram 解决的是 AA 问题、深度学习的 GNMT 模型解决的是 BB 问题,而深度学习只完成了第一步,还需要进一步抽取 xx 规则(举例说明其中的原理和细节)
  • 「xx 规则,用到了什么语言学规律?你看过哪些语言学的书来找到这些规律?」

    • 当时这个问题被问得很细,我也只能举例几本不同的语言学相关的书,自己分别从里面用到了哪些规律,总结出什么样的规则,如何根据真实场景,来融合这些规则(举例一些语言学知识)。

~担心面试官觉得我过于专注技术细节,我也向面试官解释,基于团队资源缺乏的情况,我主要负责的是产品到算法的规则拆分、构建语料库和标注测试数据方面,以及我是怎么做这些事的具体例子。面试官也会根据我的回答进一步追问,让我举例有哪些规则。

「这个项目,给客户减少了多少人力成本?」

面试官当时深入问了我在商汤做的一个重要项目,以身份验证服务降低人工审核成本为例。

  • 介绍业务背景,客户的真实痛点,客户对产品最基本的指标要求,如何给出第一版本解决方案。

  • 在满足客户基本指标之后,如何继续提升了算法和性能指标,最后达到了什么效果,具体到算法指标数字。

由于我的回答偏技术指标层面,所以面试官追问:

  • 「上线后,能减少客户多少人力成本?是否有具体数字?」

  • 「xx 防伪的识别率多少,在什么条件下才无需人工审核」(需要深入了解客户的业务场景)

  • 「你们发现哪些网络攻击的问题」(具体举例网络攻击行为与解决策略)—— 如何解决网络攻击问题:回答包括从哪里发现网络攻击行为、如何做攻击行为的数据采集与数据标注、算法团队如何根据该需求来训练模型 …

  • 「最后完成效果提升多少」(客户人力成本降低的具体数字)

  • 「后续迭代进一步优化了哪些指标」(举例客户的其他需求)

下面是在如何衡量产品指标相关被提问的外延问题,考察 AI 产品经理的数据分析与技术理解能力

「你对数据是否敏感?」

我并没有正面回答「是的我很敏感 or 我不敏感」,而是举例自己之前做过哪些 AI 数据相关的工作,包括

- 自己在标注过程中,发现过哪些问题

- 如何带数据标注团队,提升标注效率(偏人工智能训练师的角色)

- 根据客户反馈,分析线上数据找出具体问题,提出优化方案等

「你对机器学习算法是否熟悉?」

  • 在技术型产品岗位的面试都被问到。而不同面试官对该问题的提问方式会不一样。

(1)要求直接回答的方式「是 / 否 熟悉」

  • 不算非常熟悉,但我知道自己的产品是用了哪些算法(举例),在不同的功能和规则下,用 xx 算法是怎么实现的,xx 算法可以多大程度改进产品。

  • 然后举例自己和算法工程师协作时,如何用产品的思维结合算法共同优化某个指标(举例)。

(2)面试官出一道实际场景的题的方式,来考察我怎么实现这题的算法逻辑,来评估我的技术理解能力。

  • 「怎么判定文章是否抄袭」(最新洗稿很严重,大家都在讨论这个话题)

  • 「怎么计算一篇新文章在历史文库中的热度」

  • 「怎么预测新用户是否会购买一件商品」

回答略

(3)还有一种提问方式最令人恐惧,直接要求讲解某个算法的技术原理分解到数学层面细节。

  • 深度学习,是什么概念 ( 嗯,当场把理论背下来,比如深度学习中运用最多的卷积神经网络,它的每一层结构分别是什么,为什么需要多层?)

  • 在图像领域中,为什么用深度学习会比其他的效果好,原因是什么?

  • 很多人都说深度学习很牛,但是它和传统图像识别的方式有哪些区别,解决了什么问题?

    身为 AI 产品经理 如何通过对技术的理解,去解决实际的问题?

~ 事后思考,为什么 AI 产品经理 要懂技术?以前都是拿 RD 的结果去用,分解出指标给 RD 就够了,但是其实并不知道,深度学习或者其他算法能给产品带来具体什么样的效果,AI 的好处和风险点有哪些?AI 是否真的能解决问题?如果 AI 产品经理 (尤其是 AI 算法 产品经理)不懂技术,你怎么知道它能给你的产品带来的是提高而不是灾难?

「你是如何跟算法工程师沟通的?」

该问题个人感觉相对简单,属于考察产品经理的沟通能力,以及解决问题能力。

举了一个例子,比如在真实场景中用户投诉,为了达到客户预期,必须提高 xx 准确率的问题:

  • 先根据用户反馈,定位问题;

  • 然后线上看数据,分析问题;

  • 列出问题可能存在的根源,哪些是算法问题,哪些是工程问题等;

  • 做了一个问题分析表,附带数据图片样本;

  • 根据问题分析表中发现的具体问题,和 RD 沟通哪些能解决;

  • 再看自己可以做哪些事去推进,如果是新需求可能要收集更多数据,并申请标注团队资源等 …

外延问题

外延问题主要包括:

  1. 与应聘岗位相关的问题,包括如何优化对方的产品

  2. 与面试者个人经历相关的问题(比如我为什么从 iOS 开发转产品)

  3. 面试者的未来职业规划方面的问题

「AI 在 XX 场景中,可以实现哪些功能,说说你的理解」

– 这个问题需要提前了解应聘岗位的背景,可能需要了解算法基本原理才能回答得更好。

「对我们公司的什么产品感兴趣?你还能再做哪些优化?」

– 比如面试今日头条,他会问抖音或推荐产品还可以从什么方面优化,从算法技术的角度、从用户体验的角度等。

「你为什么从技术转产品?」

个人职业转型问题,面试官连续提了下面几个问题,篇幅过长,我加到另一篇文章来回答这几个问题: 我的职业路线与未来规划

  1. 「你最早是 iOS 开发,当时为什么做技术?为什么从技术转到产品,说说你在转型中间自己的感觉。」

  2. 「你觉得做 AI 产品经理,和做技术有哪些不一样?」

  3. 「你为什么觉得自己更适合做产品?」

  4. 「你未来的产品职业选择是什么方向?你会如何做好以后的产品?」

附:面试前期准备 & AI PM 同行交流

其实这次面试我没有提前很长时间准备,我看有些小伙伴会准备 1-2 个月面试,而我从写简历到第一家面试只准备了 1 周左右的时间。

写简历的过程中,梳理了过去 3 年所有的工作。也根据项目自己的工作内容,来准备可能被提问的问题,重点复盘了工作细节,还搜了市面上常见的 AI 产品经理 的问题与答案。下面这些重点问题 90% 都被问到了,尤其是「如何衡量指标」这个问题,会被不断追问。

  1. AI 和 传统方法有什么区别,在这个产品中,AI 的优势是什么?

  2. 为什么传统方法无法解决这个问题?效果不好有哪些原因?

  3. 在这个产品中,分别应用了 NLP 和 AI 的哪些技术?NLP 主要解决了什么问题?

  4. AI 主要解决了什么问题?分别是如何解决的?

  5. AI 又是如何基于 NLP,进一步做了哪些改进?

  6. 产品有哪些评估指标?根据什么来设定的这些指标?

  7. 产品指标如何测试和衡量?

  8. 算法指标如何测试和衡量?

在第一轮滴滴的面试结束后,hanniman- 黄钊老师基于我的个人优势和短板,为我提出了如何选择公司和岗位等非常好的建议,十分感谢!

个人能力分析

下面是我自己对我个人的能力分析:

产品经理的品质方面:

  • 有认知科学基础,能够清晰地梳理问题,在复杂环境中发现关键矛盾;

  • 和团队关系友好,待人真诚,也有很强的团队凝聚力,推动能力强;

  • 对 AI 技术应用到垂直行业有着非常高的热情,决定投入至少 10-20 年坚持去做好这一件事;

  • 也有超强的毅力和耐心,这也归功于之前跑马拉松的习惯,坚持做一件事对我来说并不难;

  • 日常生活比较稳定,除了工作,业余也会坚持锻炼,读书与写作;

产品经理的专业方面:

  • 积累较多的:

    • 需求分析层面,不论是 toB 还是 toC,深度考虑用户场景,用户调研并验证自己的假设;
    • 项目管理层面,统筹产品从算法技术落地到产品上线的整个过程。权衡在关键时间点做哪些重要的事情,有时候不一定非得 AI,关注结果和效率;
    • 数据分析层面,在产品上线后发现细节问题来改进产品,AI 技术理解能力较强(CV+NLP);
    • 除了 AI 产品经理的工作以外,会额外做一些提升效率和推动进展的事情,在资源少的情况下额外辅助工程师做语料库整理、数据标注等工作。
  • 积累较少的

    • 产品方法论,深知自己的专业性与业界规范仍有差距。面试官分析这也许是我之前缺乏大公司产品经验导致;
    • 交互设计,接触 toC 的产品设计较少,也是在最新一次产品设计经历中发现设计的各种问题,通过具体细节才感知到背后的问题,这也是需要基于业务场景下来思考设计,而非自己臆造功能和交互流程;
    • 行业经验,缺乏 AI 产品在垂直行业应用的经验。这也是我来到教育行业的原因之一,我对行业积累得远远不够,而要把事情做成,就必须积累这些经验去更好地判断。

黄钊老师的分析

你相对其他人的优势,应该还有对 CV 和 NLP 的了解,至少是会熟悉一些、能很快上手。你前面分析行业 + 公司很不错,选择公司时,如果主营业务对 AI 有诉求,并且已有一定的积累,会是非常好的锻炼平台。另外,是否能锻炼你作为 PM 的专业能力,也是一个重要因素,如果能去腾讯,或者直属 leader 是腾讯产品背景的人,会比较好。

但是,如果考虑你的长期发展规划,个人观点,最重要的考量因素,是如何一步步的选择一个最适合你的 AI 细分方向,进而去积累。

你现在刚好属于可塑性最强的阶段(年轻 + 有 CV 和 NLP 背景),但再过 2 年,这个相对优势又淡化了。

CV、NLP,及其交集领域,怎么跟垂直行业结合,都会有不错的方向,但这还不够,单个人来说,需要像我偏笑那样,在细分、再细分的 AI 领域,做到业内 TOP 级(即使短期内,在其他方面有明显短板)。

至于 PM 常规能力方面,随着你的工作年限提升,只要公司平台不太差,基于你的主动性和学习能力,5~10 年后,自然会不错的。

非常感谢黄钊老师,这也是我第一次如此详细地分析自己的能力,也帮助我在未来工作中不断反思:需要积累哪些技能来填补短板,更需要发挥自己的长处。

参考资料

- 精益产品 - 市场匹配模型(The Product-Market Fit)

- 原文:A Playbook for Achieving Product-Market Fit - Lean Startup Co.

- 世上的创业公司只有两种,一种是找到 PMF 的,一种是没找到的 - Marc Andreesen

- PMF:为何硅谷大神把它念奉为创业公司 “ 唯一重要的东西 “?