在 iPad 发布 Illustrator 的当天，它立即在美国和日本的应用商店中排名第一，获得了4.6 星级的评价，并得到了许多刊物的好评。
这个应用程序最初的成功是出于设计，而不是偶然的。一个有用的 Beta 程序可以帮助团队成功地进行设计和实践，也许最重要的是，让我们的用户感觉到了付出、包含和参与到创造 Illustrator 生态系统的未来中。
用一位 Beta 参与者的话说：“我参加了不少测试版程序，这里的 Slack 频道社区很棒，我很高兴成为社区的一员，我很喜欢 Illustrator 推出 iPad 版本的极致体验，这让体验更加直观。太感谢了！
Beta（测试版）程序用于在开发周期收集有关产品或服务的反馈，以便在版本发布之前进行改进。一旦产品开发完成，目标用户就可以从一个端口到了另一个端口，来完成一个或多个关键工作流，以收集真实世界的用户的体验。
在软件开发世界中，Beta测试是常见的，但在焦点和形式上差异很大。Adobe 近年来，我们一直在通过反复试验，来开发一套测试版最佳实践流程。我们相信，我们已经找到了成功的 10 个关键主题，这些主题步骤可以成为强大的工具，来帮助任何团队推出成功产品的。
下面，我们将深入研究这些主题，并提供一些有关如何在你自己的测试版程序中实现它们的信息。
一、选一个目标 Pick a goal
这似乎看起来很明显，但作为一个团队，你需要为 beta 测试程序设定一个目标。这一目标在作出较小规模的决定时候，将会提供一个明确定义的优先级，比如邀请谁参加程序，或举办何种类型的虚拟活动。
如果你的团队的主要目标是营销和参与，那么收集反馈以改善体验和产品开发策略将更加困难。例如，将市场营销放在首位的测试计划可能会影响社交媒体大V 参与者数量，因为这会导致这些影响力者将产品推广给他们的追随者，在这种情况下，产品团队和测试团队之间可能更倾向于取悦用户，而不是获得可操作的产品反馈。
由于项目中有社会影响者，团队将不太可能调查挑战领域，分享他们正在寻找反馈的领域，或者包容负面反馈。同样，如果测试版的重点放在强调这项技术有多神奇的教程上，用户将无法提供最初的、公正的反馈——这将更能代表用户在应用发布时的反应。
如果你的团队的目标是收集可操作的反馈以帮助改进用户体验，那么本文非常适合您。获取有用的产品反馈将使整个团队受益：设计师将获得有关用户体验的有用反馈；工程师将发现有助于改进代码的相关缺陷；营销人员将开发一个投资社区，产品经理可以根据用户需求调整功能架构和未来产品方向。
二、建立社区 Create a community
用户更喜欢有被倾听的感觉。开发一个社区，让它活跃，鼓励和欢迎用户参与。通过确保社区中的每个人都能向合适的跨职能团队成员提出职责问题、困惑和管理请求，让用户能够听到任何给定主题的“专家”的意见。
如果用户无法解决困扰他们的问题或得到有用的反馈，他们将停止沟通。可以通过设立有趣的复活节彩蛋来鼓励用户参与，比如惊喜赠品、参与设计挑战和有益的研讨会。
从组织管理的角度来看，确保整个跨职能团队在回答问题和跟进用户反馈方面承担一定的责任。这样，参与的负担就不会落在一个团队成员身上，团队的参与能力才能得到最大化。
至于社区平台，我们一直在使用Slack。你公司旗下的在线论坛可能无法获得持续的互动和参与，这是因为用户不习惯在这种情况下进行交流，因此最重要的是在用户习惯的场景下与他们进行互动沟通：我们发现，每天我们的许多用户都在使用 Slack 与客户和合作者进行沟通，因此整合功能对我们很有用。
无论如何，找到你的用户所聚集的地方，并将这些平台作为潜在的社区进行调查，但同样重要的是要确信平台为用户提供了安全和隐私。
无论你的平台是什么，如果在你的测试版中有两个或更多不同的用户类型，那么寻找不同的社区是很重要的，这将使你更容易将研究结果背景化，对你的测试参与者来说，这将是一个更好的体验。
我们通过一次痛苦经历意识到这一点：在一次测试中，我们既包括了学生，也包括了专业人士。我们很快意识到学生们被专业人士吓坏了，他们感到被排除在谈话之外。在 Slack 中，这意味着我们需要开发单独的工作兴趣区供相同类型的用户沟通（而不仅仅只是一个渠道）。
三、以用户为中心 Be user-centered
理想情况下，整个跨职能团队都能与用户交谈，我们需要确保所有人都准备就绪。当直接与用户交谈时，有一些需要注意最佳实践方法可以提供给你们（这里我们不会全部介绍）。
举个例子，你作为评分者，用户会倾向于取悦你，因此遵循本文中的指导原则将有助于减少这种偏见，并为参与者提供表达自己的空间，并提供关键信息。
请记住，对于参与者来说，有点困难是可以的接受的（这可以让我们了解需要解决的问题），对于我们来说，也是可以选择不提供答案的——相反，所有团队成员都应该探究“为什么”。
例如，如果一个用户说，“嘿，我想要某某功能”，不要回答说，“那不在我们的规划内。”而是，问他们为什么想要这个功能——他们会用它做什么？他们什么时候用？他们希望在哪里找到它？
这将更具洞察力——它将便于设计团队更好地了解预期的切入点；它将为产品管理层提供关于特定工作流程需要哪些功能的清晰信息；它甚至可能表明，用户的问题可以通过实现相同目标的不同功能来解决。
四、仔细筛选参与者 Carefully screen the participants
当一个团队开始测试的时候，最大的问题总是：谁会被邀请参加测试？因此，很重要的一点是要清楚地定义你测试对象的的要求。这些用户将决定应用程序的未来，因此确保他们反映目标用户的属性非常重要。
这可以包括职业、工具使用、工作流程、需求和目标等变量。与研究人员合作，为筛选调查来设计问题，以涵盖你决定的所有标准，并根据用户完成的调查结果，来只邀请符合这些标准的用户。
当你在做的时候，筛选调查是一个收集其他有用数据的绝好机会，所以不要局限于询问前面提到的用户标准。虽然筛选的首要任务是选择用户参与（或不参与）beta测试程序，但它也可以用于其他原因。
例如，可以用来筛选出对你的产品感兴趣的人群，并洞察哪些信息是用户群体在产品上市时最感兴趣的。
此外，筛选调查是一个很好的途径，可以收集到更多关于那些最终进入数据测试程序的用户的见解。该用户信息可以稍后与用户提供的反馈进行三角剖分；例如，有关用户正在运行的设备、他们对类似产品的经验以及他们使用的其他技术信息，这些都可以帮助解释他们的定性反馈。
当你确定测试版目标受众时，一定要考虑公平和包容。毕竟，我们生活在一个多元化的社会，而不是一个单一的社会，你产品的最终用户将反映这一点。
一定要为不同背景、性取向、性别、体型以及身体、心理和感官能力的人创造一个包容的空间。收集不同的观点可以帮助团队更好地理解用户面临的一系列问题，使他们能够在产品发布之前解决这些问题。如果你想了解更多提示，可以查看 Adobe Design Inclusive Worksho 或其他 Adobe Design Inclusive 资源。
我们的团队将很快分享一份包容性的研究最佳实践指南，其中是有关招募用户、与用户沟通、适应和吸引具有各种能力的用户的最佳实践的详细信息。
五、严格跟踪和分类反馈 Rigorously track and triage feedback
如果团队忽视了跟踪和分类，那么我们最初收集的所有有用的产品反馈都将丢失。
出于这些目的，我们选择使用 Reacji Channeler，这是 Slack 上的一个插件，通过使用预定义的 emoji 对单个消息进行简单的回馈，就可以对消息进行有效的标记、排序和跟踪。通过这种方式，我们可以用瓢虫表情符号标记与 bug 相关的反馈，并将它发送到工程部，而我们可以用剪贴板标记与可用性相关的反馈，并将它发送到设计部。
整个团队都参与了 “反应”——这是一种确保 Beta 版反馈被发送到正确位置的低成本方式，不必花一整个下午的时间来回答用户的问题。毕竟，团队正忙于开发新产品！
我们还使用了 Instabug，这是一种应用内服务，允许用户快速轻松地共享 bug、崩溃日志，用户可以选择直接报告改进的方面。一般来说，Instabug 的反馈会发送给工程师或用研人员，而可用性请求或功能请求会发送给研究人员进行分析。
六、切实分析反馈 Actionably analyze the feedback
在使用 Reacji Channeler（应用插件）对输入进行分类之后，反馈可以被传送到数据库软件中（我们使用Airtable），在那里，研究人员可以对其进行分类、跟踪、组织和分析。
整个团队都应该能够访问这些数据，这样如果他们想获取详细信息，就可以引用这些数据。
在分析 Airtable 中的反馈之后，研究人员将结果与所有跨职能团队分享，然后他们可以实施反馈。对我们来说，这采取了每周一次的全体会议的形式，研究人员在会上分享了测试版中最重要的几点见解：一次又一次出现的特性请求或重复出现的可用性问题（值得注意的是，根据上述国际观点，这是针对多个国家的）。
例如，本次周会将分享美国的最高反馈，但日本的反馈也会进行分享。这对整个团队的文化管理非常有帮助。每一项发现都与可行的建议和下一步措施相结合，其中一些建议被输入Jira，以确保问责制的实行。
七、所有流程国际化 Internationalize all processes
关于包容性的建议，最重要的是要考虑到你的潜在受众的全部范围。因此，所有做法也应在国际上付诸实施。国际化管理，而不仅仅是本地化。
正如我们的同事 Wilson Chan和 Mika Nakamura 所指出的，国际研究已经超越了语言，包括文化色彩、符号、美学、设备使用、连接水平、技术标准、工作流程、购买风格、学习风格，甚至法律考虑。对于本文概述的所有最佳实践，我们建议在其他国家（和语言/文化）也实施它们。
这张图片是由一位日本测试版的参和者sunsuke Satake在iPad的Illustrator中创作的。
八、找到你的“部落” Find your village
需要一个“部落”才能提高 beta 的实践成功性！
一个成功的测试版需要专门的跨职能资源。根据你的团队结构，这可能包括工程、产品管理、设计、研究、用研质量评估、内容策略和社区管理。
我们发现，如果有人将测试版本作为他们的主要关注点，那么测试版本的效果将是最好——没错，运行测试版本可以是一项全职工作。我们强烈建议让用户体验研究人员从头到尾参与这个过程。虽然他们可能不会运行测试版的日常后勤工作，但研究人员可以设置程序以获得尽可能好的数据，这意味着需要收集可操作和可预测的数据。
用户体验研究人员可以帮助进行诸如面向用户的反馈会议、调查和数据分析等活动。同样重要的是，测试版用户通常是你的产品的粉丝（稍后将对此进行详细介绍）。研究人员会意识到这种积极的偏见，并在他们的分析中加以解释。
九、纵向评估 Evaluate longitudinally
纵向研究是研究人员工具箱中最强大的工具之一，它允许团队在相当长的一段时间（例如一个月）内关注应用程序中的完整工作流，以便更好地了解用户体验。
对于我们的纵向研究，我们首先在实践研究前对每位参与者进行 30 分钟的人种学访谈。然后，每周都有任务要求参与者完成关键的工作流程，来确定风险领域。
参与者需要在每周末提供结构化的书面反馈。最后，我们对每位参与者进行 30 分钟的研究后汇报和反馈访谈。
在整个过程中，参与者与主持人有一个开放的渠道，并鼓励参与者随时与主持人联系，提出受挫的情况、bug、问题或疑惑。同样，重要的是要参与者 包括残疾人和具有国际视野的人。
纵向研究的结果可以揭示什么有助于或阻碍用户成功使用产品，他们也可以提供一种方法来衡量随着时间的推移，熟练程度的提高程度。
例如，我们寻找的关键指标之一是用户的感知能力随着时间的推移而增加；同时，他们完成任务的时间（或完成任务所需的时间）应该随着熟练程度的提高而减少。基本上，你的目标是这样的：
十、对结果进行基准测试 Benchmark the results
基准测试提供了一致的度量标准，用来衡量用户对应用程序的感知。特别是，基准测试提供了基线度量，以便随着新版本的发布时间进行监视和跟踪，从而测量错误修复、性能更新和每个版本附带的新特性的影响。
在应用程序不断发展的过程中，他们通过识别任何可能解决的成功和满意度障碍（心智模型不匹配、复制不清晰、使用质量等）来通知团队。它们还允许研究人员收集对用户体验更深入的见解，为此，我们将在每次发布实质性更新时推送的应用内调查。
选择您最感兴趣的度量标准，我的建议是：易用性、性能、满意度，并使用 Likert 量进行调查反映问题。
测试版本的一个重要指标是用户整合产品的意图。也就是说，如果这个应用程序明天推出，他们真的会使用它吗？我们还建议将每个定量问题与定性开放式问题配对；也就是说，对每个李克特量表问题都要问 “为什么”，数字本身并不能说明全部情况！
尽管 Beta测试版 程序需要预先投入时间和资源，但它要比在发布错误应用程序后对其进行改进要简单得多，成本也要低得多。通过我们的测试程序收集到的丰富信息使 iPad团队中能够在 Illustrator 开发过程中做出关键的作用，评估产品准备情况，完善营销材料，并发布一款获得成功和用户赞赏的产品。
本文翻译已获得作者的正式授权（授权截图如下）
作者：Laura Herman；译者：李玥琪；审校：蔡林燕、李泽慧、张聿彤；编辑：李莉好
原文链接：https://medium.com/thinking-design/10-key-steps-to-a-successful-product-beta-program-868a4d3fd9ca
本文由@TCC翻译情报局 翻译发布于人人都是产品经理，未经许可，禁止转载。
题图来自 Unsplash，基于CC0协议。
