【Silicon Decoder Weekly】003期：从零构建GPT、特斯拉股东大会、WebGPU

[LaughingJacky]

---

历史上的今天：
2013年5月21日，微软推出新一代Xbox One。研发耗时四年，斯皮尔伯格根据《Halo》改编的电视剧，将在Xbox平台率先播出。Xbox One也称为第一个发布暴雪新版本《Call of Duty》的平台。

一周动态

2023年5月21日

从零构建GPT

• layernorm与batchnorm；
• 转换器的前反馈层、剩余连接；
• 定义转换器，将训练集分词，数据加载；
• 训练二元模型，建立自关注，技巧：矩阵乘法加权聚合；
• 注意力交流、注意力没有空间概念操作集合、批量维度无交流、注意力vs自注意力vs交叉注意力、规模化自注意力机制；
• 回到ChatGPT、GPT-3、预训练与微调、RLHF；

WebGPU：解锁JS的现代GPU技能

• Chrome 113以上可以使用；
• 机器学习工作平均1.89倍性能提升；
• 由于OpenGL的状态机制，WebGL存在CPU负载隐患；
• WebGPU封装了现代图形的浏览器API（Dx12、Vulkan、Metal)；
• 在GPU上模拟海洋表面效果：每一帧用傅立叶变换将光谱转换为海浪高度数据；
• 计划在着色器和DP4类指令中，启用对16位浮点数的支持，以进一步提高机器学习性能；

特斯拉2023年度股东大会

• 明年开始量产Cybertruck电动皮卡；
• 长期价值可能来自人形机器人Optimus；
• 特斯拉正在自研精炼锂，提升电池寿命；
• Model S和X车载娱乐系统已支持Steam和YouTube；

李飞飞与吴恩达有关人工智能的探讨

• STEM：Science、Technology、Engineering、Mathematics；
• 李飞飞边在普林斯顿学物理，边经营新泽西干洗店；
• Parsippany离贝尔实验室不远，那里进行了早期的卷积神经网络研究；
• 从计算机视觉的早期基准ImageNet，到加州理工图像101类数据集；
• 自阿兰图灵以来，人类还没有完全了解智能背后的基本计算原理；
• 使用不捕获RGB信息的相机保护隐私，比如自动驾驶用到的深度相机；
• 技术的演进也使得芯片推理计算成为可能，不再需要通过网络传输信息到中央服务器；

往期推荐

1. 【Black Tech Weekly】002期：谷歌CEO访谈、Google I/O、王国之泪
2. 【Black Tech Weekly】001期：财报季、AI学习笔记、巴菲特股东大会
3. 【哈佛大学CS50课程】GPT4工作原理及应用开发
4. 【张亚勤对话朱民】颠覆认知的AI时代与产业机遇

Silicon Decoder Weekly，分享科技、财经深度信息。让您的时间更宝贵，快快前往公众号订阅吧！​​​​