课程简介

多模态大模型取得许多辉煌成果，通过将大语言模型和其他模态结合，不仅保留了大语音模型的推理和决策能力，还拓展了视觉、听觉等多模态能力，这个能力的突破，使得大模型和众多硬件设备有了更好的结合场景，使得大模型不仅可以读书、写作，还可以“看懂/听懂”图像、音频、视频，并将这些信息表述出来，做出推理、决策，还能进一步控制、联动其他硬件设备做出反馈；多模态大模型实现了从感知到认知能力的跨越性提升，使得AI和IoT能够更进一步的融合，展现出巨大的潜力和实际应用价值。

虽然大模型有着通用性强、优秀的迁移学习和上下文理解能力，然而不同于大语言模型以及于绘画、视频生成等艺术创作场景，IoT的很多领域对算法的差错容忍度更低，相比之下多模态大模型的成熟度仍然不足，幻觉、过度推理等问题在一些IoT场景也更加突出，加上更加高昂的数据收集、清洗、训练以及部署推理成本，虽然前景美好，但是在一些垂直场景却很难顺畅的落地。

本分享结合360智脑·视觉大模型云在安防领域的一些探索实践，提出了云边端融合、大小模型协同，先垂直后通用，先主观、后客观的落地方式，将大模型的突出优势和已经相对成熟的小模型结合，找准与当前能力充分匹配的垂直场景和刚性需求，给出与会者深刻的探索与思考。

课程收益

1、帮助学员了解多模态大模型的发展；

2、帮助学员掌握大模型结合AIoT落地的关键点，并提炼出IoT场景大模型落地应用的方法路线

受众人群

企业管理者，IT行业从业者及其他对多模态大模型感兴趣的人员

课程周期

3H

课程大纲

1、多模态大模型的简要发展回顾

2、360在多模态大模型上的路线与场景选择

3、实践案例：大模型在360 智能硬件产品中的落地实践。

4、AI行业总结与展望