如果一个安全摄像头不仅能捕捉视频，还能理解正在发生的事情——实时区分日常活动和潜在的危险行为，那会怎么样？这就是弗吉尼亚大学工程与应用科学学院的研究人员正在塑造的未来，他们的最新突破是：一种人工智能驱动的智能视频分析仪，能够以前所未有的精度和智能检测视频片段中的人类行为。
该研究论文发表在《IEEE模式分析与机器智能学报》上。
该系统被称为语义和运动感知时空变压器网络（SMAST），有望带来广泛的社会效益，从增强监控系统和改善公共安全，到在医疗保健中实现更先进的运动跟踪，以及改进自动驾驶汽车在复杂环境中的导航方式。
“这项人工智能技术为在一些最苛刻的环境中进行实时动作检测打开了大门，”电气与计算机工程系教授兼系主任斯科特·t·阿克顿（Scott T. Acton）说，他是该项目的首席研究员。“这种进步可以帮助预防事故，提高诊断水平，甚至挽救生命。”
那么，它是如何工作的呢？SMAST的核心是由人工智能驱动的。该系统依靠两个关键组件来检测和理解复杂的人类行为。第一种是多特征选择性注意模型，它可以帮助人工智能专注于场景中最重要的部分，比如人或物体，同时忽略不必要的细节。这使得系统在识别正在发生的事情时更加准确，比如识别一个扔球的人，而不仅仅是移动他们的手臂。
第二个关键功能是运动感知2D位置编码算法，这有助于AI跟踪物体随时间的移动。想象一下，在观看一段人们不断变换姿势的视频时，这个工具可以帮助人工智能记住这些动作，并理解它们之间的关系。通过集成这些功能，SMAST可以实时准确地识别复杂的动作，使其在监控、医疗保健诊断或自动驾驶等高风险场景中更加有效。
SMAST重新定义了机器如何检测和解释人类行为。当前的系统与混乱的、未经编辑的连续视频片段作斗争，经常错过事件的背景。但SMAST的创新设计使其能够以惊人的准确性捕获人与物体之间的动态关系，并由人工智能组件提供支持，使其能够从数据中学习和适应。
这一技术飞跃意味着人工智能系统可以识别诸如过马路的跑步者、执行精确手术的医生，甚至是拥挤空间中的安全威胁等行为。SMAST已经在包括AVA、UCF101-24和EPIC-Kitchens在内的关键学术基准上超越了顶级解决方案，为准确性和效率设定了新的标准。
“社会影响可能是巨大的，”阿克顿实验室参与该项目的博士后助理研究员马修·科尔班（Matthew Korban）说。“我们很高兴看到这种人工智能技术如何改变行业，使基于视频的系统更加智能，能够实时理解。”
更多信息：Matthew Korban等人，用于动作检测的语义和动作感知时空变压器网络，IEEE模式分析与机器智能学报（2024）。DOI: 10.1109/TPAMI.2024.3377192期刊信息：IEEE模式分析与机器智能汇刊，由弗吉尼亚大学提供引文：人工智能驱动的视频分析仪为人类行为检测设定了新的标准（2024年，10月16日）检索自2024年10月16日https://techxplore.com/news/2024-10-ai-driven-video-standards-human.html此文档受版权保护。除为私人学习或研究目的而进行的任何公平交易外，未经书面许可，不得转载任何部分。内容仅供参考之用。
