一、成果简介:智道企业级大模型应用开发平台,由中国科学院合肥物质院智能所谢成军与张洁团队研发。该平台专注于为企业级大模型应用提供一套全面的大语言模型(LLM)开发工具链,以及量身定制的端到端解决方案。平台建设目标是助力企业用户(包括事业单位、高校、科研院所等机构)迅速构建通用大模型的垂直应用,赋能并加速大模型在数智应用开发领域的落地实施。
平台功能包括:
(1)开发组件与流程编排:包括数百种开发组件,以应对复杂业务场景,能够融合大模型、专业小模型、规则引擎能力以及实现业务流程编排(智能体),帮助企业构造完备、可控的应用系统;
(2)检索增强生成:针对私域知识、实时知识等进行知识库构建及检索增强问答、生成等能力;
(3)通用文档解析:提供高质量通用文档解析能力,包含版式分析、表格识别、图片识别、文字识别、公式识别等;
(4)非结构化数据治理:借助通用KeyValue信息提取大模型,实现高效、高精度的非结构化数据治理;
(5)大模型微调:支持全量微调、freeze微调、lora微调,预置主流Finetune微调数据集,提供微调训练数据集自动生成工具。
二、主要技术指标:
(1)支持主流开源模型微调和私有化部署,包括ChatGLM、Baichuan、Llama、Qwen、Yi、internlm等数十种私有化大模型;
(2)支持主流模型推理后端:huggingface、vllm、llamacpp、ollama,支持int4/int8/FP16多种推理模式,并针对量化精度和量化性能针对性优化;
(3)支持基于Embedding的语义检索、基于关键词的BM25检索、基于知识图谱的图检索以及多种方案混合检索,检索召回达到90%以上。
三、应用领域和场景:面向企业、事业单位、高校、科研院所等机构的数智化转型应用需求,提供知识管理(非结构化数据治理)、数据分析(通用数据分析辅助、智能看板)、智能问答(基于知识库、接口调用)、内容审核(内容重复性审查、合理性审查、逻辑性审查)、报告生成(日/周/月报、工作总结/报告)等应用场景。
四、市场前景:2023年12月,国家数据局等17部门联合印发《“数据要素×”三年行动计划(2024—2026年)》,将大力支持开展通用人工智能大模型和垂直领域人工智能大模型训练。2023年10月,安徽省政府印发《安徽省通用人工智能创新发展三年行动计划(2023—2025年)》,指出要加快研发基于我省认知智能大模型底座的垂直行业大模型,加快应用技术的持续突破和优化,提升行业大模型的应用效果。
在各级政府政策支持下,同时伴随着数字化转型的加速以及人工智能技术的发展,越来越多的企业开始寻求通过智能化手段提升业务效率和竞争力。“智道”企业级大模型应用开发平台应运而生。该平台具备低成本、高效率、易集成的优势,能够帮助企业快速构建通用大模型的垂直应用,将成为企业实现智能化转型的重要工具,因此具有广阔的市场前景。
五、拟转化的方式:平台授权使用、定制化开发、技术合作或其他模式。(联系人:张洁,联系电话:13956901966)。
六、相关图片:
基于组件的流程编排样例
基于知识库、数据库的数据分析样例