星环大模型运营平台(Sophon LLMOps)是星环科技推出的企业级大模型全生命周期运营管理平台,旨在赋能企业用户能敏捷、高效、有闭环地将大模型落地到生产和业务中去。Sophon LLMOps打通并优化了语料接入和开发、提示工程、大模型训练、知识抽取和融合、模型管理、应用和智能体构建、应用部署、运维和监控,以及业务效果对齐提升的全链路流程。
Sophon LLMOps能提供什么？
语料数据处理和知识入库
Sophon LLMOps 提供了大批量语料接入、引导式语料清洗、多团队协同语料标注、语料评测与运营等语料全生命周期管理能力；在知识入库阶段，平台支持多种文件格式解析和向量化，支持专业化的解析、分片和检索输出的策略配置：支持用户通过应用开发模块编排的解析流程发布成解析服务，实现更灵活的文档内容抽取。除自建知识库之外，平台还可支持对接企业内部现有知识库。
模型训练和管理
Sophon LLMOps支持统一纳管多模态（大）模型以及第三方模型服务，统一接口规范，实现不同模态模型的精细化版本管理。在模型训练方面，平台提供界面引导式以及代码编程两种大模型微调训练方式。基于平台的模型评估功能，可自选预置的通用评估规则或自定义评估模板来针对已上架的模型进行各维度的指标评估。特别的，Sophon LLMOps仍兼容传统机器学习和深度学习模型的训练和管理的全生命周期能力。
应用开发和管理
面向不同用户类型和使用场景，Sophon LLMOps分别提供了四种应用构建方式：类GPTs的0代码构建，低代码算子编排，基于在线编程以及自定义容器构建大模型应用。比如面向运营人员，平台支持用户通过0代码的方式快速构建RAG和Agent应用。用户可一键发布已构建完成的应用快速体验，一键分享和对外提供API调用。
服务部署和监控运维
Sophon LLMOps 支持配置弹性伸缩策略，动态扩缩容实现负载均衡。同时还支持多版本流量分配策略，具备灰度发布，A/B测试能力。在监控部署阶段，平台支持实时监控模型服务的运行状态，控制模型生产环境风险，如集群资源利用率、吞吐量、响应时间和访问记录等。
企业级管理能力
面向企业组织，Sophon LLMOps提供了包括成员权限控制、资源监控、计费管理以及审批和审计，安全管控等一系列企业级能力。空间内的成员管理和权限管控保证了用户间的数据隔离和数据安全，支持用户对模型部署、应用启停和任务操作等平台的核心流程进行有效的审计和审批管理，增强了操作的可追溯性和系统的安全性。
应用案例
客户需求 ○ 将智能问答嵌入到研发、生产、销售等各环节中，在自然语言交互下提供丰富且必要的辅助信息，可缩短商业分析执行路径和时间、管理潜在的协同商机，并且提高生产效率和经济效益。 解决方案 ○ 通过跨领域知识的学习和调优，大语言模型能更好地理解不同领域的专业术语、缩写、常见词汇和语法，承担统一的语义理解功能，解决业务领域性问题。借助星环 Sophon LLMOps 构建大模型，可以轻松完成数据采集、知识沉淀、模型迭代提升的完整闭环。 ○ 结合大语言模型和向量数据库，构建跨业务域领域的智能问答系统。星环自研的向量数据库Hippo，将跨域知识统一存储和管理，解决知识融合性问题。大模型与向量数据库松耦合的结构，使得知识可以在向量数据库实时更新，解决信息时效性问题。 项目成果 通过Sophon LLMOps实现了统一的问答系统架构，企业内部不同业务问答系统的开发投入得到了大大降低，同时后期运维成本也进一步减少。 通过大模型的部署和应用，为用户提供了统一的问答入口，将企业知识获取的过程变得更加简单高效，获取的内容变得精简可追溯，知识的更新变得更加即时。
