AI中间件专栏 | AI+中间件实践应用:助力业务系统智能化升级

多客科技

作者：微信文章
中国信息通信研究院"AI中间件专栏"继续分享，本期专题再度聚焦行业前沿，特邀北京宝兰德软件股份有限公司撰稿，作为深耕中间件技术的代表企业，宝兰德的实践分享将为我们揭示“AI+中间件”赋能业务系统智能化升级的落地范本与最佳实践，照亮行业前行之路。

随着AI技术向纵深发展，其应用领域也呈现出蓬勃生机。中间件不仅衍生出新形态，也推动了传统中间件的升级迭代，以更好地适应AI时代的需求。

在AIGC时代，人工智能技术已经成为推动各行各业变革的核心力量，新形态的大模型中间件作为新时代的技术底座，承载着复杂任务和应用的重任。然而，大模型的实际落地仍面临诸多挑战：高昂的开发、微调和部署成本，复杂的硬件环境要求，以及行业应用最后一公里的适配问题。同时，传统中间件作为连接层，难以有效支撑AI应用的开发需求，既无法满足快速迭代的要求，也难以保障高效稳定的运行，从而制约了AI技术的进一步发展和应用深化。

AI与中间件：协同发展，双向赋能

随着AI技术与中间件的深度融合，逐渐形成了“双向赋能”的新格局。

1.AI正在重塑中间件

随着人工智能技术的快速演进，AI正在深度渗透中间件的各个环节。在开发态、运行态与运营态等全生命周期中，AI技术正助力中间件实现智能化升级，提升其在性能优化、故障预测、资源调度等方面的能力，从而实现更高效、智能的管理中间件。

2.中间件正在重新定义AI基础设施

作为AI系统的连接器与支撑平台，中间件正向智能化、服务化、Serverless化方向演进，为AI模型与应用的落地提供强有力的技术支撑。

新形态中间件的迸发：在AI应用持续深化的背景下，中间件的功能和内涵不断拓展。它正从传统的系统支撑平台，演化为连接AI模型与AI应用之间的关键桥梁，承担模型调度、数据流转、性能协调等核心角色，推动AI系统的高效协同与敏捷部署。

传统中间件的升级：为适应AI场景下对计算能力与系统弹性的更高要求，传统中间件正在加速智能化转型。一方面，通过增强原有能力，提升对复杂AI任务的支持；另一方面，Serverless等创新交付模式的引入，使中间件具备更强的敏捷性、弹性与资源利用效率，更好地满足智能业务对高性能、低延迟和动态伸缩的需求。

AI中间件分类

AI中间件是面向人工智能场景的新型软件基础设施，其核心目标是通过技术整合与智能化优化，降低AI模型开发、部署及业务落地的复杂性。它既连接底层算力资源与大模型能力，又通过场景化适配将AI技术无缝嵌入企业业务流程，同时对传统中间件进行智能化升级，以提升整体系统的稳定性、效率与灵活性。主要包括算力中间件、大模型中间件、传统中间件的AI改造。

算力中间件：包括GPU虚拟化、大模型分布式训练加速、大模型分布式推理加速核心能力，用户无需关注底层算力调度，即可利用算力中间件快速连接算力及大模型，实现模型微调及模型部署。

大模型中间件：可将大模型与特定业务场景连接，通过智能问答助手、智能问数助手、智能体等相关能力，高度适配不同企业的个性化需求，让业务人员可轻松创建智能体，解决大模型与企业内知识、数据、系统无法连接的问题。

传统中间件的AI改造：对包括应用服务器、分布式缓存和消息中间件等产品进行技术迭代，使用AI技术洞察中间件内部的运行情况，不断优化关键配置，调整中间件运行负荷，自适应达到最佳配置和性能状态，使得中间件更加稳健、高性能的运行，降低客户的使用成本和运维难度。

宝兰德中间件持续演进，助力AI时代技术创新

作为国内领先的基础软件供应商，宝兰德紧扣AI发展的趋势，快速升级迭代宝兰德产品解决方案，推出全新算力中间件和大模型中间件产品，更新传统中间件，从而加速AI应用开发迭代，支撑系统高效稳定的运行，助力业务系统实现智能化升级，帮助用户更好的享受AI技术变革带来的时代红利。

实践应用展示

某股份制银行算力中间件应用案例

该银行目前具备华为昇腾 910B、华为300I Pro、英伟达 T4 等多款智算算力，难以通过统一的方式对其管理及调度，及其模型推理的性能较差。依托 AI 中间件构建全链路解决方案，实现“算力-模型”的无缝衔接，通过算力管理整合多品牌 GPU，形成算力资源池，有效提升算力资源的利用率；通过模型分布式加速能力，支持多路并发，提升模型推理性能，满足业务所需。通过 AI 中间件，该银行成功构建“模型快速迭代-服务稳定部署-资源弹性扩展”的智能金融底座，为金融行业 AI 应用提供可复制的标杆实践。

某省级运营商大模型中间件应用案例

该用户在日常IT服务运营支撑过程中，面对多个支撑问题来源，不同角色人员在咨询投诉、投诉受理、投诉管控环节面临咨询投诉响应慢、处理效率低、客诉管控不足等痛点问题，急需构建智能AI辅助工具，提升IT问题支撑效率。基于大模型中间件能力，拉通投诉服务前、中、后支撑效能壁垒，通过交互智能化、处理便捷化、管控高效化，实现打造智能化辅助工具、强化投诉过程管控体系两个目标，赋能服务全流程支撑，提升服务支撑运营流程数智化水平。该应用快速赋能一线，智能问答准确率提升20%，知识查询缩短至20秒、处理核查时长降至20分钟、投诉分析报告生成由小时降至分钟级；服务应用运营覆盖一线人员、运营维护人员、投诉管控人员，提问量累计10W+，有效提升服务满意度。

联系人：

雷昊 18611880543（微信同号） leihao@caict.ac.cn