ChatGPT掀起的AGI革命如火如荼。但可能鲜有人知GPT背后的基石模型transformer。这项集各种神经网络大成的结构,里面包含了MLP前馈层,残差网络,自注意力机制(可以认为是卷积网络的一种推广),本身就是一种变体的循环神经网络。这种设计使其能学习极其复杂的数据逻辑,无论在自然语言处理,计算机视觉,金融数据分析,游戏AI设计,基因序列分析,音频生成和合成等各个领域都取得了匪夷所思的跃进。一位能手撕transformer的技术人员,必定成为团队中众星捧月般的核心存在,面试官也不得不对你流露出滔滔不绝的敬仰之情。 你是否想要深入解拆、实现当下最火热的深度学习模型——Transformer?你是否想要了解它是如何在自然语言处理和计算机视觉等领域创造奇迹的?你是否想要使用它来完成你的项目和任务,甚至创造出你自己的场景模型? 如果你的答案是肯定的,那么这门课程就是为你量身定制的!本课程将带你从零开始,一步一步地学习和实现Transformer模型,让你不仅能够理解它的原理和工作机制,还能够熟练地使用它来解决实际问题。 本课程将采用理论+实践的方式,通过代码示例和案例分析,让你深入掌握Transformer模型的内部结构和核心组件,如自注意力机制、多头注意力、位置编码、编码器-解码器架构等。本课程还将教你如何使用Hugging Face的Transformers包,这是一个功能强大的Python库,它可以让你快速地调用、训练、应用和分享各种预训练的Transformer模型,如BERT、GPT、XLNet等,以及它们的中文版本,如BERT-wwm、GPT-3-zh等。你将学习如何使用Transformers包来完成各种自然语言处理任务,如文本分类、文本生成、命名实体识别、情感分析等,以及如何对Transformer模型进行微调和优化,以适应不同的数据集和任务需求,提高模型的性能和泛化能力。本课程还将介绍ViT模型,这是一种将Transformer应用于计算机视觉的创新模型,它可以在图像分类等任务上达到与卷积神经网络相媲美甚至超越的效果。 本课程适合有一定的Python编程基础和深度学习基础的学习者,希望进一步学习和掌握Transformer模型的原理和应用的学习者,以及对Transformer模型在计算机视觉领域的应用感兴趣的学习者。 课程亮点: 由业内资深专家授课,具有丰富的理论和实战经验 课程内容全面,涵盖Transformer模型的基础原理、典型应用和进展 采用理论与实践相结合的教学方式,帮助学员深入理解Transformer模型的原理和应用 提供丰富的代码示例和实验指导,帮助学员快速掌握Transformer模型的开发和应用 覆盖面广,从自然语言处理到计算机视觉 课程大纲: 第一章节:Transformer基础 1、Transformer模型的前世今生,Transformer与LLM的密切关系 2、代码级详细解析Encoder和Decoder的结构和工作原理 3、实战:使用PyTorch实现一个简单的Transformer模型 第二章节:Hugging Face的Transformers包介绍 4、了解和使用Transformers库,探索Hugging Face社区的资源和贡献 5、掌握Transformers库的基本用法:pipeline,model等;使用Transformer库调用本地LLM 6、利用Transformers库快速搭建和运行机器翻译、文本分类等任务的模型和代码介绍 7、实战:基于Transformers库使用不同模型完成评论情感分析 第三章节:Transformer模型训练与调用1 8、介绍Hugging Face的数据集库和常见的数据集:GLUE、SQuAD、CNN/Daily Mail等 9、介绍Hugging Face的训练器和训练参数 10、使用Hugging Face的Transformers包训练和微调模型的方法和步骤掌握 11、BERT的下游任务介绍 12、实践:利用BERT系列模型进行下游任务的迁移学习和微调:文本分类 第四章节:Transformer模型训练与调用2 13、BERT模型与LLM的异同分析 14、实践:利用BERT系列模型进行下游任务的迁移学习和微调:机器翻译、文本摘要、抽取式问答等 15、实践:使用LLM完成BERT下游任务:文本分类、机器翻译、文本摘要、抽取式问答等 第五章节:Transformer模型分享与部署 16、如何将训练好的模型上传到Hugging Face平台进行分享 17、利用Hugging Face平台进行模型部署和推理 18、探讨如何将Transformer模型集成到Web应用程序中,构建自己的LLM应用 第六章节:Transformer在计算机视觉中的应用 - ViT模型解析 19、ViT模型的背景和动机:将Transformer模型从自然语言处理扩展到计算机视觉领域 20、ViT模型的原理和实现:将图像切分为多个块,将每个块视为一个标记,使用Transformer模型进行编码和分类 21、ViT在计算机视觉领域的应用场景 22、实战:使用PyTorch实现ViT模型并进行简单的图像分类任务。 23、探讨:ViT模型与多模态大模型密不可分的关系 授课时间: 课程将于2024年11月29日开课,课程持续时间大约为7周。 授课对象: 具有编程基础,对自然语言处理、计算机视觉、大语言模型、多模态大语言模型感兴趣的同学 想深入理解Transformer模型的原理和应用的同学 希望使用HuggingFace的Transformers包进行模型训练和调优的同学 课程所需环境及软件版本: Python 3.8+ PyTorch 1.8+ Transformers 4.6+ Jupyter Notebook 或 Google Colab 收获预期:通过本课程的学习,学习者可以:• 理解Transformer模型的原理和实现,掌握自注意力机制、多头注意力、位置编码、编码器-解码器架构等核心概念。 • 熟练使用PyTorch实现Transformer模型的基本组件、编码器、解码器和完整结构,以及训练和测试Transformer模型的过程,还能够使用PyTorch实现Transformer模型的可视化和分析。 • 熟练使用Hugging Face的Transformers包,调用、训练、应用和分享各种Transformer模型,完成各种自然语言处理任务,以及对Transformer模型进行微调和优化,以适应不同的数据集和任务需求,提高模型的性能和泛化能力。 • 了解ViT模型的原理和实现,以及它的优点和局限性,能够使用Transformers包调用ViT模型,以及在自己的图像数据上训练和测试ViT模型,体验Transformer模型在计算机视觉领域的强大能力。 • 熟练掌握基于Transformers库的AI应用开发流程,快速上手大语言模型的应用 讲师简介: Tracy 资深人工智能科学家, 多年数据分析与人工智能算法开发的行业经验,在计算机视觉、语音处理、自然语言处理和强化学习等领域上都有着丰富的项目实战经验。曾主导开发众多项目与产品,包括公安室内定位系统、公安声纹鉴定系统、内镜医学图像增强系统、中国移动客户满意度分析、广州地铁客流分析、语音风格迁移、垃圾智能分类综合系统等等。 学习形式及报名须知: 新颖的课程收费形式:“逆向收费”约等于免费学习,仅收取100元固定收费+300元暂存学费,学习圆满则全额奖励返还给学员! 本门课程本来打算完全免费,某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动,为了防止一些朋友在学习途中半途而废,浪费了讲师的付出,为此我们计划模仿某些健身课程,使用“逆向收费”的方法。 在报名时每位报名者收取400元,其中100元为固定 收费,另外300是暂存学费,即如果学员能完成全部课程要求,包括完成全部的书面和互动作业,则300元全款退回,优秀的学员还可以获得礼品奖励。如果学员未能坚持到完全所有的学习计划任务,则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力! 课程授课方式: 1、 学习方式:老师发布教学资料、教材,幻灯片和视频,学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。 2、 学习作业:老师每周布置书面及互动作业,学员需按时按质完成作业。 3、 老师辅导:根据作业批改中发现的问题,针对性给予辅导,帮助大家掌握知识。 4、 结业测验:通过测验,完成学业。 您是否对此课程还有疑问,那么请 点击进入 FAQ,您的问题将基本得到解答 全国统一咨询热线 4008-010-006 课程现开始接受报名,报名方式 网上报名 请点击 本页上方报名入口 咨询Email :edu01@dataguru.cn,edu02@dataguru.cn 课程入门讨论咨询微信群:(群内将会不定期分享炼数成金内部学习资料) |