西雅图港高级系统架构师Skip Tavakkolian表示,该政府机构认为机器学习技术将从根本上改变港口的运营方式。该项目(被称为PlaneInsigh)仅仅是个开始。 Tavakkolian表示,PlaneInsight项目的主要开发目的是为了给信息和通信技术(ICT)团队提供使用现代机器学习和计算机视觉技术的第一手经验,尽管他强调这不仅仅是学术实践。该港口的航空货运团队希望该项目能帮助他们提高效率,减少延误,并提升对货运公司的责任感。
Tavakkolian说:“机器学习技术对于信息和通信技术及港口而言都是一门新学科,对大多数技术领域而言也是如此。”“由于我们清楚机器学习技术可以处理哪些工作,因此我们开始寻找未使用机器学习技术而导致不可行或成本昂贵的问题。”
Tavakkolian解释道,人工解决方案无法扩大规模,而现有的自动化解决方案往往依赖于昂贵且专门的硬件,例如传感器。
他说:“使用计算机视觉技术让我们可以利用现有的监控摄像头基础设施来处理视频流,并利用我们的数据中心基础架构来收集快照,创建训练数据集,训练神经网络,以及进行图像推理(即分析)。”
从试点到投入使用
PlaneInsight项目可利用港口的监控摄像头来确定所关注的飞机和地面设备(梯子、地面动力设备、皮带装载机等)的类型、位置和大致轮廓。它可以分析飞机舱门的图像,确定所停靠的飞机类型,对周围环境以及任何可见的文字(例如飞机上的航空公司名称)进行说明。该项目由于使用新兴技术而使西雅图港赢得FutureEdge 50大奖。
Tavakkolian和西雅图港首席信息官马特·布里德(Matt Breed)于2016年开始探索在港口使用机器学习技术和计算机视觉技术。2017年,Tavakkolian与港口的航空和电气系统总工长克里斯·埃文斯(Chris Evans)密切合作,为港口的“创智赢家(Shark Tank)”创新活动建立了一个简单的计算机视觉概念验证原型。基于该原型,航空运营总监和航空货运运营与开发经理发起了该试点项目,其后来成为PlaneInsight项目。
Tavakkolian说:“最初在分类器原型上投入适当时间和计算资源的举措完全是在信息和通信技术部门内部决定的,”但是“创智赢家”活动帮助使分类器原型赢得了业务上的支持。“该活动允许将想法和原型提交给港口内的各位主管,如果可以获得用于试点项目的一些资金,那么可将这些想法和原型带入下一阶段。”
由于高管发起支持该项目,信息和通信技术部门与航空货运运营团队密切合作,以找出对实时使用、调查分析和历史趋势分析都有用的信息类型。Tavakkolian指出,到目前为止,这两个团队仍在继续为对象检测数据寻找其他功能和用途。
为PlaneInsight项目进行培训
最大的挑战仍然摆在面前:寻找让PlaneInsight项目发挥作用的专业知识。
Tavakkolian说:“全面学习机器学习技术和计算机视觉技术概念以将其投入使用,学习这些工具和框架(例如Tensorflow),然后帮助他人理解机器学习概念,这些都是最大的挑战。”“如今对机器学习技术的专业知识需求很高,那些想利用机器学习技术,并且无法仅依赖薪酬与其他公司竞争的组织,就需要制定计划来对现有员工进行培训。”
培训员工并不是唯一的问题。PlaneInsight项目核心的卷积神经网络(CNN)需要训练数据集进行迁移学习。创建这样的数据集是一项单调乏味的工作:它需要注释成千上万幅图像。必须标记每幅图像中所关注的对象(例如,“波音737飞机”),定义其位置(例如,在其周围设置边界框),以及勾勒出其形状(例如,在飞机轮廓上画出多边形)。这是非常耗时的工作,而且没有针对飞机和地面设备的标准训练数据集。为了解决该问题,该港口启动了一项新的高中暑期机器学习技术实习计划。
“将近一半的训练数据集是由我们的高中实习生创建的,”Tavakkolian说。
该港口在2019年部署了PlaneInsight试点项目,此后一直在运行。Tavakkolian表示,该项目不仅帮助航空货运团队提高了效率,还使其组织内部人员对机器学习技术提高了认识,而且港口还找到了机器学习技术的更多操作用途,包括寻找路径(使用自然语言处理和机器翻译)、地面操作、安全性、库存等。航空货运团队希望利用计算机视觉技术进行设备自动清点,检验比较各个地点的实际操作与计划操作,以及计算出计划操作与实际操作之间的差异。甚至已对一些现有的请求建议书(RFP)项目也进行了升级,以使用机器学习技术。
Tavakkolian说:“IT专业人士熟悉技术领域变化的情况和速度。”“通用的机器学习技术,尤其是深度神经网络都是现成的技术,自上世纪90年代中期互联网的普及使用,这两种技术可能会对信息技术领域产生最具变革性的影响。最好现在就为这一趋势着手准备。”