大型语言模型（LLMs）正准备改变我们处理AI的方式，而这种变化已经在将LLMs与网页应用集成的创新设计中初见端倪。自2022年末以来，多个框架、SDK和工具被引入，展示了将LLMs与网页应用或商业工具集成的简单原型。随着大量资金流入到生成式AI应用和工具的开发中，这些应用和工具主要用于商业用途，将这些原型推进到生产阶段并从中获取商业价值变得越来越重要。如果你决心投入时间和资金来构建一个与LLM高度融合的工具，你如何确保这项投资能在长期获得回报？

为了做到这一点，建立一套开发LLM应用程序的最佳实践至关重要。我过去一年在开发LLM应用程序这一过程中的确非常令人兴奋，并且学到了很多东西。将近十年来，我在设计和构建网页和云原生应用程序方面的经验表明，传统的软件开发标准对于LLM原生应用程序常常不适用。相反，持续的研究、实验和评估过程被证明是创建更优质的AI驱动产品更为有效的方法。

为了帮助你应对这些挑战，我将讨论以下关键领域中的最佳实践——用例选择、团队的心态、开发方法论、负责任的人工智能实践以及成本管理。

每个问题都需要用AI来解决吗？答案是明确的否定。相反，你应该问自己在哪些业务场景中可以从使用大语言模型中获益最多？企业在着手开发应用之前需要先问自己这些问题。有时，正确的应用场景就摆在眼前，或者通过与同事交流或在公司内部进行研究，你可以找到正确的方向。以下几点可能帮助你做出决定。

1. 所提议的解决方案是否满足市场需求？ 对所提出的用例进行市场调研，了解当前的市场情况。识别是否有已集成或未集成AI的现有解决方案，分析它们的优缺点，以及你的拟议LLM应用可以解决的任何缺陷。这包括分析竞争对手、行业趋势和客户反馈。
2. 它对用户有帮助吗？ 如果你的拟议解决方案旨在服务于组织内部的用户，衡量用户期望的一个常见方法是看解决方案是否能通过节省时间来提升他们的工作效率。一个常见的例子是IT或HR支持聊天机器人，帮助员工处理日常查询。此外，对潜在用户进行简短调查也有助于了解可以使用AI解决的痛点。
3. 它能加速业务流程吗？ 另一类用例可能是解决业务流程改进的问题，间接影响用户。例如，客服中心通话记录的情绪分析、生成个性化推荐、总结法律和财务文件等。对于这类用例，实施自动化可能成为将LLM集成到日常业务流程中的关键因素。
4. 我们有可用的数据吗？ 大多数基于LLM的应用程序使用RAG（检索增强生成）原理从特定知识文档中生成上下文相关和有根的结果。任何基于RAG的解决方案的基础是数据的可用性、类型和质量。如果没有足够的知识库或高质量的数据，你的解决方案可能无法达到预期的效果。数据的可访问性也很重要，因为机密或敏感的数据可能并不总是可用。
5. 所提出的解决方案是否可行？ 确定是否实施AI解决方案不仅取决于技术可行性，还取决于伦理、法律和财务方面。如果涉及敏感数据，在最终确定用例时，也应考虑到隐私保护和合规性问题。
6. 解决方案是否满足您的业务需求？ 考虑你的AI解决方案可以服务的短期和长期业务目标，管理期望也在这里至关重要。从AI应用中获益通常需要一个长期的过程。

在选择应用场景的同时，产品负责人还应考虑设定短期可达成的里程碑以及合理的期望值。每个里程碑都应有明确的目标和时间表，并且需要由团队共同定义并达成一致，以便利益相关者可以定期审查结果。这也有助于在推进实施基于LLM的解决方案、生产化策略、用户上线等方面做出明智的决策。

研究和实验是任何涉及AI工作的核心。构建大型语言模型（LLM）应用程序也不例外，同样。与遵循预设设计、变化很少的传统网络应用不同，基于AI的设计高度依赖于实验，并且可以依据早期结果进行调整。成功的秘诀在于明确定义的期望值，并在每个迭代中进行实验， 并在每次迭代后持续评估。在大型语言模型原生开发过程中，成功的标准通常是输出的质量，这意味着输出内容需要既准确又高度相关。这可以是聊天机器人的回复、文本摘要、图像生成，甚至是由LLM定义的动作（代理方法）。要持续生成高质量的结果，就需要深入了解底层语言模型，不断调整提示，并严格评估以确保应用程序达到预期标准。

你可能认为，仅有几个数据科学家的团队就足以为你构建一个LLM应用程序。但实际上，工程技能同样重要甚至更重要，才能真正地交付目标产品，因为LLM应用程序并不遵循经典机器学习方法。对于数据科学家和软件工程师而言，需要一些思维上的转变来适应开发方法。我见过这两种角色都在经历这样的转变，比如数据科学家熟悉云基础设施和应用部署，而工程师们则需要熟悉模型使用的细节和LLM输出的评估。最终，你需要团队中的“AI从业者”，他们不仅仅是为了‘编码’，而是进行研究、协作并提升AI应用性。

像 GPT-4o 这样的流行大型语言模型已经接受了大量数据的训练，因此这些类型的模型已经不需要额外的训练。在某些情况下可能需要对模型进行微调，但这也可以轻易地完成，无需采用传统机器学习方法。然而，不要将“实验”与预测性机器学习中的“模型训练”混淆。如前所述，应用程序的输出质量很重要。通过多次实验迭代，我们可以逐步达到预期的输出质量。例如，如果你正在构建一个聊天机器人，并希望控制机器人输出给最终用户的样子，通过迭代地改进提示和微调超参数的方法，可以帮助你找到生成准确且一致输出的最佳路径。

尽早构建一个仅包含核心功能的原型（也称为 MVP — 最小可行产品），尽量在 2-4 周内完成。如果你在使用知识库进行 RAG 方法，避免进行大量的数据预处理。

• 从一部分目标用户那里快速获得用户的反馈有助于你了解解决方案是否符合他们的期望。
• 与相关利益方进行审查，不仅要展示好的结果，还要讨论在原型构建过程中遇到的局限性和约束条件。这对于尽早发现风险并做出明智的交付决策至关重要。
• 团队可以最终确定技术堆栈、安全性和可扩展性的要求，以便将原型转变为一个功能齐全的产品，并确定交付时间。

多个针对AI的样本的可用性使得创建原型非常简单，而此类原型的初步测试通常会有令人鼓舞的结果。当原型准备就绪时，团队可能对成功标准、市场调研、目标用户群、平台需求等方面有更深的了解。此时，思考这些问题可以更好地确定产品的下一步发展方向：

1. 原型中开发的功能是否满足了最终用户或业务流程的主要需求？
2. 在原型开发过程中，团队遇到了哪些挑战？这些挑战是否可能在生产过程中再次出现？有没有方法可以减轻这些风险？
3. 原型在遵循负责任的AI原则方面是否存在任何风险？如果是的话，可以实施哪些防范措施来避免这些风险？（我们将在后续部分进一步讨论这个问题）
4. 如果解决方案需要集成到现有产品中，可能会遇到哪些拦路虎？
5. 如果解决方案处理敏感数据，是否采取了有效的措施来确保数据的隐私和安全？
6. 是否需要为产品定义任何性能要求？原型结果在这方面是否令人满意，还是还有改进的空间？
7. 您的产品有哪些安全方面的要求？
8. 您的产品是否需要任何用户界面？（基于LLM的常见用例是聊天机器人，因此需要尽早定义用户界面需求）
9. 您是否对MVP中的LLM使用进行了成本估算？考虑到预计的生产使用规模和您的预算，情况如何？

如果你在初步审查后能获得大多数问题的满意答案，并且原型表现良好，那么你就可以继续产品开发了。

第二部分即将播出，我将讨论你应该如何开发产品、如何在产品开发初期引入负责任的人工智能以及成本控制的窍门。

如果你想了解更多这样的新兴科技内容，可以关注我。如果你有任何反馈，请在下方留言。谢谢 :)