——综述篇——

第1章：多模态大模型行业综述及数据来源说明

1.1 多模态大模型行业界定

1.1.1 多模态大模型的定义

1、大模型的定义

2、多模态大模型的定义

1.1.2 多模态和单模态大模型的区别

1.1.3 多模态大模型的特征

1.1.4 多模态大模型所处行业

1.1.5 多模态大模型行业监管

1、行业监管体系

2、行业监管备案制度

1.2 多模态大模型的研究意义

1.3 多模态大模型产业画像

1.3.1 多模态大模型产业链结构梳理

1.3.2 多模态大模型产业链生态全景图谱

1.4 本报告数据来源及统计标准说明

1.4.1 本报告研究范围界定

1.4.2 本报告权威数据来源

1.4.3 研究方法及统计标准

——现状篇——

第2章：全球多模态大模型产业发展现状及趋势

2.1 全球多模态大模型产业发展历程

2.2 全球多模态大模型产业发展现状

2.2.1 全球大模型产业算力需求

2.2.2 全球多模态大模型产业主流产品

2.2.3 全球多模态大模型产业区域格局

2.3 全球多模态大模型产业市场规模

2.4 全球多模态大模型产业市场竞争格局

2.4.1 全球多模态大模型产业市场参与者

2.4.2 全球多模态大模型市场竞争格局

2.5 全球多模态大模型产业发展经验借鉴

2.6 全球多模态大模型产业市场前景预测

2.7 全球多模态大模型产业发展趋势洞悉

第3章：中国多模态大模型行业发展现状及竞争态势

3.1 中国多模态大模型行业发展历程

3.2 中国多模态大模型市场规模体量

3.3 中国多模态大模型市场主体分析

3.3.1 中国多模态大模型市场主体类型

3.3.2 中国多模态大模型企业的入场方式

3.4 中国多模态大模型数量及名单

3.5 中国多模态大模型市场竞争要素及竞争格局

3.5.1 中国多模态大模型市场竞争梯队

3.5.2 中国多模态大模型市场竞争格局

3.5.3 中国多模态大模型厂商竞争力评价

3.6 中国多模态大模型行业投融资趋势

3.6.1 中国多模态大模型行业主要资金来源

3.6.2 中国多模态大模型行业融资动态

3.7 中国多模态大模型行业发展痛点问题

第4章：多模态大模型技术架构分析

4.1 多模态大模型的技术演进

4.2 多模态大模型的核心技术

4.2.1 表征

4.2.2 翻译

4.2.3 对齐

4.2.4 融合

4.2.5 协同学习

4.3 多模态大模型的模型/模态部分

4.3.1 多模态大模型的图像模型

4.3.2 多模态大模型的视频模型

4.3.3 多模态大模型的3D模型

4.3.4 多模态大模型的音频模型

4.4 多模态大模型的架构分析

4.5 多模态大模型类型及综合对比

4.6 多模态大模型类型一：CLIP

4.6.1 CLIP的原理

4.6.2 CLIP的训练

4.6.3 CLIP的实现

4.7 多模态大模型类型二：Flamingo

4.7.1 Flamingo的原理

4.7.2 Flamingo的训练

4.7.3 Flamingo的架构

1、视觉编码器

2、感知器重采样器

3、Transformer架构

4.8 多模态大模型类型三：BLIP

4.8.1 BLIP的原理

4.8.2 BLIP-2的原理

4.8.3 BLIP 到BLIP-2

4.9 多模态大模型类型四：LLaVA

4.9.1 LLaVA的原理

4.9.2 LLaVA的结构

4.9.3 LLaVA的训练

4.10 多模态大模型类型五：InstructBLIP

4.10.1 LLaVA的原理

4.10.2 LLaVA的结构

4.10.3 LLaVA的训练

4.11 多模态大模型类型六：mini-GPT4

4.11.1 LLaVA的原理

4.11.2 LLaVA的结构

4.11.3 LLaVA的训练

第5章：中国多模态大模型基础能力构建分析

5.1 多模态大模型基础能力构建概述

5.2 多模态大模型基础能力构建之“算力”

5.2.1 大模型的算力需求分析

5.2.2 AI芯片

1、AI芯片概述

2、AI芯片发展现状

3、AI芯片供应商格局

4、主要AI芯片类型

（1）通用芯片（GPU）

（2）可编程芯片（FPGA）

（3）专用定制化芯片（ASIC）

（4）类脑芯片

5.2.3 AI服务器

1、AI服务器概述

2、AI服务器发展现状

3、AI服务器需求商格局

5.3 大模型基础能力构建之“数据”

5.3.1 数据处理与服务概述

5.3.2 国内外主要大语言模型数据集

5.3.3 数据API

5.3.4 训练数据开发

5.3.5 推理数据开发

5.3.6 数据维护

5.4 多模态大模型基础能力构建之“AI基础软件”

5.4.1 AI基础软件概述

5.4.2 AI基础软件市场概况

5.4.3 AI基础软件竞争格局

5.4.4 AI基础软件主要类型

5.5 多模态大模型评测标准

5.5.1 大模型的主要评测手段

5.5.2 大模型评估框架及评估结果

1、评估框架

2、评估结果

5.5.3 大模型能力评测及等级划分

第6章：中国多模态大模型产业化应用及场景探索

6.1 多模态大模型产业化应用场景格局

6.2 大模型产业化应用细分场景分析

6.2.1 多模态大模型产业化应用细分场景一：数字人

1、数字人概述

2、多模态大模型对数字人行业的影响

3、多模态大模型融合数字人的应用案例

6.2.2 多模态大模型产业化应用细分场景二：游戏娱乐

1、游戏娱乐行业概述

2、多模态大模型对游戏娱乐的影响

3、多模态大模型融合游戏娱乐的应用案例

6.2.3 多模态大模型产业化应用细分场景三：广告商拍

1、广告商拍行业概述

2、多模态大模型对广告商拍行业的影响

3、多模态大模型融合广告商拍的应用案例

6.2.4 多模态大模型产业化应用细分场景四：社交媒体

1、社交媒体行业概述

2、多模态大模型对社交媒体行业的影响

3、多模态大模型融合社交媒体的应用案例

6.2.5 多模态大模型产业化应用细分场景五：智能营销

1、智能营销行业概述

2、多模态大模型对智能营销行业的影响

3、多模态大模型融合智能营销的应用案例

6.2.6 多模态大模型产业化应用细分场景六：教学辅助

1、教学辅助行业概述

2、多模态大模型对教学辅助行业的影响

3、多模态大模型融合教学辅助的应用案例

6.2.7 多模态大模型产业化应用细分场景七：3D建模

1、3D建模行业概述

2、多模态大模型对3D建模行业的影响

3、多模态大模型融合3D建模的应用案例

6.2.8 多模态大模型产业化应用细分场景八：智能驾驶

1、智能驾驶行业概述

2、多模态大模型对智能驾驶行业的影响

3、多模态大模型融合智能驾驶的应用案例

6.2.9 多模态大模型产业化应用细分场景九：智能安防

1、智能安防行业概述

2、多模态大模型对智能安防行业的影响

3、多模态大模型融合智能安防的应用案例

6.2.10 多模态大模型产业化应用细分场景十：智慧城市

1、智慧城市行业概述

2、多模态大模型对智慧城市行业的影响

3、多模态大模型融合智慧城市的应用案例

6.3 多模态大模型产业化细分应用场景战略地位分析

第7章：全球及中国多模态大模型企业案例解析

7.1 全球及中国多模态大模型企业梳理与对比

7.2 全球多模态大模型企业案例分析

7.2.1 微软-GPT-4/SORA

1、基本信息

2、企业业务架构&经营情况

（1）业务架构情况

（2）整体经营情况

3、多模态大模型业务布局现状

（1）GPT-4

（2）SORA

7.2.2 谷歌-Gemini

1、基本信息

2、企业业务架构&经营情况

（1）业务架构情况

（2）整体经营情况

3、多模态大模型业务布局现状

7.3 中国多模态大模型企业案例分析

7.3.1 中科院——紫东太初

1、企业基本信息

（1）发展历程

（2）基本信息

2、企业经营情况

3、多模态大模型专利技术

4、多模态大模型产品布局

5、企业业务布局战略&优劣势

7.3.2 华为——盘古大模型

1、企业基本信息

（1）发展历程

（2）基本信息

2、企业经营情况

3、多模态大模型专利技术

4、多模态大模型产品布局

5、企业业务布局战略&优劣势

7.3.3 百度——文心大模型

1、企业基本信息

（1）发展历程

（2）基本信息

2、企业经营情况

3、多模态大模型专利技术

4、多模态大模型产品布局

5、企业业务布局战略&优劣势

7.3.4 腾讯——混元大模型

1、企业基本信息

（1）发展历程

（2）基本信息

2、企业经营情况

3、多模态大模型专利技术

4、多模态大模型产品布局

5、企业业务布局战略&优劣势

7.3.5 阿里——通义大模型

1、企业基本信息

（1）发展历程

（2）基本信息

2、企业经营情况

3、多模态大模型专利技术

4、多模态大模型产品布局

5、企业业务布局战略&优劣势

7.3.6 360——智脑多模态大模型

1、企业基本信息

（1）发展历程

（2）基本信息

2、企业经营情况

3、多模态大模型专利技术

4、多模态大模型产品布局

5、企业业务布局战略&优劣势

7.3.7 科大讯飞——星火大模型

1、企业基本信息

（1）发展历程

（2）基本信息

2、企业经营情况

3、多模态大模型产品布局

4、企业业务布局战略&优劣势

7.3.8 智谱——GLM-4

1、企业基本信息

（1）发展历程

（2）基本信息

2、企业经营情况

3、多模态大模型产品布局

4、企业业务布局战略&优劣势

7.3.9 网易——丹青大模型

1、企业基本信息

（1）发展历程

（2）基本信息

2、企业经营情况

3、多模态大模型产品布局

4、企业业务布局战略&优劣势

7.3.10 昆仑万维——天工大模型

1、企业基本信息

（1）发展历程

（2）基本信息

2、企业经营情况

3、多模态大模型产品布局

4、企业业务布局战略&优劣势

——展望篇——

第8章：中国多模态大模型行业政策环境及发展潜力

8.1 多模态大模型行业政策汇总解读

8.1.1 国家层面多模态大模型产业政策及规划汇总及解读

8.1.2 国家重点政策/规划对多模态大模型产业的影响

1、《新一代人工智能发展规划》

2、《“数据要素x”三年行动计划（2024—2026年）（征求意见稿）》

8.1.3 地方层面多模态大模型行业政策重要规划汇总

8.2 多模态大模型行业PEST分析图

8.3 多模态大模型行业SWOT分析图

8.4 多模态大模型行业发展潜力评估

8.5 多模态大模型行业未来关键增长点

8.5.1 数据生态建设与高质量数据供给

8.5.2 算力基础设施升级

8.5.3 通用技术框架与标准化

8.5.4 多模态研究与学术前沿

8.6 多模态大模型行业发展前景预测

8.7 多模态大模型行业发展趋势洞悉

8.7.1 多模态大模型行业整体发展趋势

8.7.2 多模态大模型行业监管规范趋势

8.7.3 多模态大模型行业技术发展趋势

8.7.4 多模态大模型行业竞争发展趋势

8.7.5 多模态大模型行业应用场景趋势

第9章：中国多模态大模型行业投资机会及策略建议

9.1 多模态大模型行业投资风险预警

9.2 多模态大模型行业投资机会分析

9.2.1 行业链薄弱环节投资机会

9.2.2 行业细分领域投资机会

9.2.3 行业重点区域投资机会

9.3 多模态大模型行业投资价值评估

9.4 多模态大模型行业投资策略建议

9.5 多模态大模型行业可持续发展建议

图表1：大模型的层次

图表2：多模态大模型的定义

图表3：多模态和单模态大模型的区别

图表4：多模态大模型的特征

图表5：本报告研究领域所处行业

图表6：中国多模态大模型行业监管体系

图表7：《互联网信息服务深度合成管理规定》与《生成式人工智能服务管理暂行办法》对比

图表8：多模态大模型产业链结构梳理

图表9：多模态大模型产业链生态全景图谱

图表10：报告研究范围界定

图表11：报告权威数据来源

图表12：报告研究统计方法

图表13：全球多模态大模型产业发展历程

图表14：全球代表性大模型所需训练参数量及算力当量情况（单位：亿，PF-days）

图表15：2019-2023年全球算力规模（单位：EFlops）

图表16：全球多模态大模型产业产品介绍

图表17：2023年全球多模态大模型区域竞争格局

图表18：2022-2024年全球多模态大模型产业市场规模体量（单位：亿美元）

图表19：全球多模态大模型产业市场参与者情况

图表20：全球多模态大模型产业市场竞争格局

图表21：全球多模态大模型产业发展经验借鉴

图表22：2024-2029年全球多模态大模型产业市场规模体量预测（单位：亿美元）

图表23：全球多模态大模型产业发展趋势

图表24：中国多模态大模型行业发展历程

图表25：2022-2023年中国大模型行业市场规模（单位：亿元）

图表26：2023年中国国产大模型技术类别分布情况（单位：%）

图表27：2023年中国多模态大模型市场规模情况分析（单位：亿元）

图表28：中国多模态大模型市场主体类型构成

图表29：多模态大模型行业参与者进场方式

图表30：通过《生成式人工智能服务管理暂行办法》多模态大模型名单

图表31：2024中国人工智能多模态大模型企业综合竞争力20强榜单

图表32：2024中国人工智能多模态大模型企业综合竞争力20强竞争梯队

图表33：2024年中国人工智能多模态大模型TOP5企业综合气泡图

图表34：2024年中国主要大模型厂商竞争力评价

图表35：多模态大模型行业资金来源汇总

图表36：多模态大模型行业投融资主体构成

图表37：2024年多模态大模型行业投融资事件汇总

图表38：中国多模态大模型行业发展痛点问题

图表39：多模态大模型的技术演进

图表40：多模态大模型表征的联合表示法和坐标表示法

图表41：多模态大模型表征的文本翻译

图表42：多模态大模型表征的语音翻译

图表43：多模态大模型表征的对齐结构

图表44：多模态大模型表征的联合表示法和坐标表示法

图表45：多模态大模型的图像、音频、视频的输入和输出路径

图表46：多模态大模型的图像模型

图表47：多模态大模型的文生视频

图表48：多模态大模型的3D模型

图表49：多模态大模型的音频发展

图表50：多模态大模型的架构分析

图表51：多模态大模型类型及综合对比

图表52：多模态大模型类型及综合对比

图表53：多模态大模型类型一：CLIP

图表54：多模态大模型类型二：Flamingo

图表55：多模态大模型类型三：BLIP

图表56：多模态大模型类型三：BLIP-2

图表57：多模态大模型类型四：LLaVA

图表58：多模态大模型类型四：LLaVA的训练阶段

图表59：多模态大模型类型五：InstructBLIP

图表60：多模态大模型类型六：mini-GPT4

图表61：大模型基础能力

图表62：2023-2028年全球训练侧算力需求测算（单位：个，亿元，天，%）

图表63：2023-2028年全球推理侧算力需求测算（单位：个，亿元，天，%）

图表64：人工智能芯片分类

图表65：2017-2025年中国人工智能芯片行业市场规模（单位：亿元）

图表66：中国人工智能芯片行业代表性企业产品及应用情况

图表67：2024年中国人工智能芯片企业TOP10

图表68：GPU结构图示

图表69：中国部分通用芯片（GPU）厂商布局进展

图表70：FPGA结构图示

图表71：全球AI芯片代表性企业在ASIC芯片领域的部分产品情况

图表72：灵汐科技领启KA200芯片架构

图表73：AI服务器分类

图表74：2022-2027年全球AI服务器市场规模及预测（单位：亿美元）

图表75：2023年全球AI服务器采购量占比情况（单位：%）

图表76：数据处理与服务主要内容

图表77：国内外主要大语言模型数据集

图表78：数据API内容

图表79：训练数据开发步骤

图表80：推理数据开发步骤

图表81：数据维护内容

图表82：2019-2026年中国人工智能软件行业市场规模（单位：亿元，%）

图表83：中国AI行业细分市场企业格局

图表84：中国AI软件行业竞争派系

图表85：中国AI软件行业细分市场竞争格局（单位：%）

图表86：AI基础软件主要类型

图表87：大模型的主要评测手段

图表88：SuperCLUE中文通用大模型综合性评测基准

图表89：SuperCLUE多层次基准

图表90：SuperCLUE通用测评基准数据集

图表91：SuperCLUE通用能力测评-开源榜单

图表92：SuperCLUE通用能力测评-端侧小模型榜单

图表93：2023年5月-2024年6月国内外TOP模型对比趋势

图表94：SuperCLUE评测模型象限

图表95：2024中国人工智能多模态大模型20强企业模型应用场景（单位：%）

图表96：中国多模态大模型产业化主要应用场景介绍

图表97：数字人主要应用领域及优势介绍

图表98：数字人技术特点介绍

图表99：多模态技术为数字人提供的核心能力

图表100：多模态大模型对数字人行业的影响分析

图表101：世优科技AI数字人多模态交互系统“波塔”图示

图表102：兴业银行数字人平台“小兴”图示

图表103：游戏娱乐多模态大模型主要应用领域介绍

图表104：多模态技术为游戏娱乐提供的核心能力

图表105：多模态大模型对游戏娱乐的影响分析

图表106：广告商拍多模态大模型主要应用领域介绍

图表107：多模态技术为广告商拍提供的核心能力

图表108：多模态大模型对广告商拍的影响分析

图表109：InsightGPT赋能营销内容创作提效升级图示

图表110：腾讯混元大模型AI广告创意平台——腾讯广告妙思

图表111：广告商拍多模态大模型主要应用领域介绍

图表112：多模态大模型对社交媒体的影响分析

图表113：智能营销的工作原理

图表114：融合了多模态大模型的智能营销业务优势

图表115：达官智能推荐营销平台的功能

图表116：大模型+教育应用概述

图表117：融合了多模态大模型的教学辅助业务优势

图表118：讯飞智慧教育产品与服务

图表119：中公网校虚拟数字讲师“小鹿老师”克服技术难点

图表120：AI在3D建模中的应用

如您对多模态大模型行业报告有个性化需求，请点击个性化定制咨询 »