早在 2006 年,海康威视就开始组建算法团队,专注于智能算法的研究。2012 年,海康进一步拓展了深度学习领域的研究,逐步将其应用于多个业务场景,包括人脸识别、车牌识别、视频结构和行为分析等。通过对这些技术的深入探索,海康在智能安防和视频监控领域逐渐确立了技术领先地位。
2018 年,海康发布了 AI 开放平台及相关白皮书,标志着海康正式进军大模型领域。该平台不仅为行业提供了基础算法,还涵盖了深度学习和大模型的最新研究成果,应用领域覆盖智慧城市、平安城市、公共安全和生产安全等多个方向。
到 2021 年,海康的大模型逐渐步入行业应用阶段,重点发展多模态模型,将视觉、语言、语音等技术融合在一起,并逐步扩展至城市治理、电力、煤炭、水利等多个行业。通过整合这些感知技术,海康的行业大模型在智能化管理和分析上有了质的飞跃,为更多行业提供了智能解决方案。
从 2022 年至今,海康利用更高级别的智能手段,不断对模型进行优化提升,助力多维数据联动,并参与了国家大模型相关标准的制定。
海康的大模型取名为“观澜”,源于孟子“观水有术,必观其澜“的哲理思想,象征着通过大模型的深度感知与洞察来实现对世界的全面理解。观澜大模型从视觉大模型起步,并逐渐扩展至音频、雷达、X 光等多个感知领域,形成了丰富的多模态感知基础,以适应不同的行业需求。
早期,海康基于海量数据预训练,构建了视觉大模型、音频大模型、语言大模型、多模态大模型等基础大模型。在此基础上又构建了行业大模型,广泛应用于电力、公路、煤矿、水利、零售、轨道、工业制造、城管、金融等各个行业。针对一些特定任务,又进行了模型微调,以满足具体应用场景的需求,如电力巡检、异常作业检测、交通事件检测、物料盘点、金融合规检测等。
具体到金融行业,海康大模型主要应用于安防领域,涵盖人防、技防和物防三个方面。通过对银行网点内外的智能监控,实现了对人员行为的精确分析,如人员聚集、人员跌倒等。同时,大模型在金库和 ATM 加钞等场景中提供了高效的合规性监控,确保了金融资产的安全。
通过大模型的持续训练和微调,海康大模型能够根据每个金融网点的环境特点进行个性化的优化,解决了传统安防技术在复杂环境下识别准确度低的问题。同时,大模型通过高度自动化的监控和管理手段,大幅降低了人力成本,为金融机构提供了更为智能化的安防解决方案。
二、整体架构设计
上图展示了常见的银行业务架构。
海康大模型采用了云边结合的模式进行部署,以满足各类应用需求。
边缘部署,如二级分行会部署一些小模型,在智能 NVR、智能分析服务器等边缘设备上,负责处理本地数据,并在局部范围内进行数据分析;到省级分行,则使用大模型,利用大模型具备的自学习能力,根据不同环境进行模型的调优与优化。
云端部署,采用了海康云眸,设备产生的图片会上传到云上进行训练、推理,以资源共享的方式,再下发到设备。这里的速度会不如边缘部署那么快。
云边结合方案为各行业提供了灵活的部署模式,既能够满足数据安全的需求,又能够有效控制企业的资源成本。在金融行业中,边缘设备可以在本地完成实时监控和风险识别,而云端则为全局数据提供更深入的分析,确保了金融业务的高效运转。
海康观澜大模型的主要优势在于:
- 全面的感知能力:海康威视凭借其在物联网领域超过 20 年的技术积累,拥有丰富的数据资源,这为大模型的训练提供了坚实的基础。无论是在视觉感知、音频分析,还是其他模态数据处理上,海康的大模型都具备了全面的感知能力,能够应对复杂的行业需求。
- 丰富的行业经验:海康通过自主研发的微调技术,显著提升了大模型的实用性。特别是在复杂场景下,大模型通过高效的微调技术减少了误报率,提升了识别的准确性,确保了大模型的高效运行。
- 多样的部署方案:海康还通过自研的蒸馏技术,将大模型的知识迁移至边缘小模型,实现了大模型与小模型的联动。大模型在云端进行全局优化,而小模型在边缘设备上进行本地推理,从而在保证高效感知的同时,实现了资源的最优配置。
面向网点、金库、办公大楼、数据中心全场景,搭建了金融办公场所物联感知网络,并在此基础上打造了上层智慧应用,统一管理各类算法及算力资源,基于业务场景需求赋能AI 应用。
通过对从业务调研、方案设计,到应用集成、维护迭代的全流程形成标准化的工程化服务体系,为海康观澜大模型落地提供了保障。
三、挑战与解决思路
在海康大模型落地的过程中,也遇到了诸多挑战,主要有以下几方面:
- 数据依赖性:人工智能技术的效果高度依赖于数据的质量与数量,如果缺乏足够的数据,大模型的学习与训练就难以实现。这对部分行业提出了数据积累的挑战,特别是在非传统领域,数据的获取与清洗是一个长期的过程。
- 传统深度学习的局限性:模型泛化能力不足,传统结构出现性能天花板,缺乏复杂推理与认知能力。
- 算力成本:大模型的训练需要大量的计算资源,带来了巨大的成本压力。
针对这些挑战,海康通过技术创新与积累,不断提升模型效果,同时尽可能降低模型训练和部署的成本,使大模型得以在更多企业中落地应用。
四、未来展望
随着海康大模型技术的不断成熟,其在金融行业的应用也逐步深入。目前,国有银行和股份制银行已经陆续开始部署海康的大模型,未来这一技术将进一步推广至更多的金融机构。同时,海康也计划将大模型应用拓展到其他行业,推动各行业的智能化转型。无论是智慧城市的治理,还是工业生产的安全管理,海康的大模型都将在未来发挥至关重要的作用。