2018年transformer诞生后,迅速成为各种大模型的基础结构,于是有了ChatGPT,有了以AGI为最终目标的快速发展。但受限于transformer对算力的要求,以输入token序列的长度的平方为增长级数。因此它无法处理超长序列。像ChatGPT目前文本长度限制为32k。对于纯文字,当有很多个回合的对话时,会突破这个上限。对于多模态的情况,高分辨率图片,一段音频、视频可能就轻易突破这个限制了。对于科学应用,对人的基因进行全序列测序会形成数G数据。以上序列,如果截断成短的片段,又难以捕捉长程依赖,这类问题,一直是序列型数据处理的核心困难所在。 炼数成金新课程中的“AI技术前瞻”系列,捕捉当前技术热点,这些技术犹如当年的transformer,我们判断对将来的技术发展方向可能有重要的影响,在当下应用可以带来算力效率、结果准确度等方面带来优势,进行持续长远的研究,可能有积跬步成千里,滴水石穿的效果,给场景和基础结构带来革命性的突破,犹如transformer之相对于ChatGPT和AGI。本课程涉及的mamba,是由斯坦福和卡内基梅隆发起的项目,起源于SSM(状态空间模型),其演进过程深刻而简洁,让人拍案叫绝。可以极大降低所需要的算力,同时又能处理困难的超长序列问题,目前普遍被业界看好,认为是transformer的潜在替代。其作者已经开设了创业公司,围绕mamba研发新一代大语言模型,与OpenAI及一众行业巨头掰手腕。通过了解mamba,我们可以对大语言模型的核心问题有更深刻的理解,为创新应用场景和基础设施做知识准备,这是值得学习,并向同事、上司、老板、同行们炫耀的技术知识。 课程亮点: 1 详细剖析transformer原理和优缺点2 深度讲解mamba的前世今生(目前市面上还没见到有能深入讲解的同类课程) 2 应用实际部署,代码实战 3 提供A100服务器和其它充足的算力资源作为实验支撑 课程大纲: 第一章:序列型问题,RNN,LSTM与Transformer 1 从金融数据到自然语言处理,从语音分析到视频生成,序列型数据无所不在 2 循环神经网络RNN及其硬伤 3 LSTM 4 几乎解决所有传统难题的Seq2Seq,注意力机制 5 AGI的基石transformer与自注意力详解 第二章 flashattention 6 transformer和自注意力的算力瓶颈 7 利用硬件特点的优化 8 flashattention9 flashattention2 第三章 从SSM到S4 10 状态空间模型 11 连续形式的神经网络 12 HiPPO 13 SSM升级版S4 第4章 mamba 14 超长序列一直是序列型问题的核心困难。完整音视频,DNA等超长序列并不适用于transformer去解决 15 S4的梦幻版升级mamba 16 mamba实战:构造大语言模型与聊天机器人 17 用统计学的观点重新审视SSM到mamba 授课时间:
课程将于2024年05月31日开课,课程持续时间大约为5周。 授课对象: 懂深度学习,对大语言模型有初步认知的朋友 课程所需环境及软件版本: python 3.x 收获预期: 熟练掌握mamba原理,代码,部署,并应用到实际问题中。实际上所有用transformer完成的项目都可以平替为mamba试水一下 讲师简介: tigerfish,知名数据库网站ITPUB创始人,知名数据分析网站炼数成金创始人。数据库专家,数据分析专家,有丰富的IT领域、数学领域的知识经验。他将带领他的数据分析团队完成整个授课工作。 学习形式及报名须知: 新颖的课程收费形式:“逆向收费”约等于免费学习,仅收取100元固定收费+300元暂存学费,学习圆满则全额奖励返还给学员! 本门课程本来打算完全免费,某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动,为了防止一些朋友在学习途中半途而废,浪费了讲师的付出,为此我们计划模仿某些健身课程,使用“逆向收费”的方法。 在报名时每位报名者收取400元,其中100元为固定 收费,另外300是暂存学费,即如果学员能完成全部课程要求,包括完成全部的书面和互动作业,则300元全款退回,优秀的学员还可以获得礼品奖励。如果学员未能坚持到完全所有的学习计划任务,则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力! 课程授课方式: 1、 学习方式:老师发布教学资料、教材,幻灯片和视频,学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。 2、 学习作业:老师每周布置书面及互动作业,学员需按时按质完成作业。 3、 老师辅导:根据作业批改中发现的问题,针对性给予辅导,帮助大家掌握知识。 4、 结业测验:通过测验,完成学业。 您是否对此课程还有疑问,那么请 点击进入 FAQ,您的问题将基本得到解答 全国统一咨询热线 4008-010-006 课程现开始接受报名,报名方式 网上报名 请点击 本页上方报名入口 咨询Email :edu01@dataguru.cn,edu02@dataguru.cn 课程入门讨论咨询微信群:(群内将会不定期分享炼数成金内部学习资料) |