天秤座 创建了下一代平台 基于使用原始格里芬机器电子学习平台的经验。该公司希望改善用户体验,帮助管理所有ML工作负载。改进后的平台利用了 拖把 并为当前和未来的应用程序介绍新的能力。
天秤座 于2022年推出其最初的格里芬平台 ，支持其利用机器学习促进产品开发的旅程。使用一个统一的平台,一年可以使ML应用程序的数量增加三倍,因为它提供了一些关键的功能,包括集装箱化环境、工作流管理、特性市场和实时推理。尽管有所有的好处,但由于工具相对复杂、用户体验分散、缺乏标准化和元数据管理以及可伸缩性不足,机器学习工程师第一次使用ML平台证明很麻烦。
该公司希望解决第一代平台中发现的缺陷,并侧重于提供一个具有丰富用户体验的统一和可伸缩的平台,提供新的和正在出现的能力,如分布式培训和微调 大型语言模型。
格里芬平台的第二个版本用一个面向服务的体系结构来取代CLI和基于基特的工具,展示RESTAPI。这些API被Web用户界面用来为HTML工程师提供无缝体验,而格里芬SDK则可以将其他工具集成到格里芬,例如,本托尔姆,INTASTAT的内部笔记本系统基于云的开发环境。
该平台后端包括三个主要子系统。 示范培训平台 利用率 射线 提供水平可伸缩的计算环境,以支持 分布式的多功能语言模型培训 .mltp在库伯内特斯统一各种培训后端平台,并提供基于配置的运行时间 张力流 和 莱特姆 .
模型服务平台提供简化和自动化的模型工件存储、模型部署和提供推理服务。mlSP允许微调服务资源和可伸缩性配置,这将导致快速和低维护的方法,使ML模型可在规模上使用。
特性存储支持特性计算、摄取、可发现性和可共享性。使用基于UI的新工作流,用户可以配置新的功能源和微调功能计算。特性数据验证有助于更早地捕捉错误,存储优化提供了对特性的低延迟访问。
在一个统一的WebUI应用程序中,所有的平台功能都可以提供给ML工程师,他们可以在其中创建ML服务的端到端。与此同时,该流程由不同阶段的内置验证引导,以帮助在流程早期纠正错误。
英斯塔卡特的工程经理拉杰帕·帕亚尼总结了该公司在建造和运营ML平台方面的历程:
从我们的早期开始,我们就见证了米洛普斯的快速发展。像Tg-1这样的技术的出现使大型语言模型在各个行业的使用发生了革命性的变化。我们公司处在这些发展的最前沿。格里芬2.0背后的指导原则。..]确保我们的ML基础设施做好了高级应用程序的准备,如LOM培训、微调和未来的服务。
