输入“/”快速插入内容

模型加速与 AI compiler 介绍

2023年3月10日创建

1391

1649

目标

1.
非从业者：了解 ai compiler 的研究内容、成本和意义。​

2.
AI 从业者：帮大家读了一些经典的 paper。​

3.
主要讨论 deep learning 模型的推理（inference）。​

AI 从业者的定义：深度参与过模型的训练优化或推理部署。

不涉及什么

1.
系统的介绍一门学科、理论。​

2.
听完就能干活、能学以致用。​

背景介绍 - 20min

当我们谈到深度学习时，可能在谈什么：

1.
开发​

2.
训练​

3.
部署（推理）​

4.
模型库​

common.docs_name - LarkCCM_Docs_Menu_Image

出自: https://www.modb.pro/doc/48500 飞桨：源于产业实践的开源深度学习平台 -蓝翔 _百度

模型训练的速度 - from paper

Model Name

Training Time

时间

Hardware

Data size

Paper Link

Transformer

12h

2017.06

8 P100 GPU

37000 token

http://arxiv.org/abs/1706.03762

BERT

81.4h

2018.10

16 TPU

3.3B word corpus

https://arxiv.org/abs/1810.04805

BERT

76 min

2019.4

1024 TPU

3.3B word corpus

https://arxiv.org/abs/1904.00962

XLNet

2.5days

2019.6

512 TPU v3 chips

32.89B

https://arxiv.org/abs/1906.08237

Resnet50

2.2 min

2018.11

TPU v3 Pod

ImageNet

https://arxiv.org/abs/1811.06992

Resnet50

75s

2019.3

2048 GPU v100

ImageNet

https://arxiv.org/abs/1903.12650

GPT

month

2018.6

8 GPU

BooksCorpus 800M words

https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf

模型加速与 AI compiler 介绍​

模型加速与 AI compiler 介绍