扫一扫
关注中图网
官方微博
本类五星书更多>
-
>
全国计算机等级考试最新真考题库模拟考场及详解·二级MSOffice高级应用
-
>
决战行测5000题(言语理解与表达)
-
>
软件性能测试.分析与调优实践之路
-
>
第一行代码Android
-
>
C Primer Plus 第6版 中文版
-
>
深度学习
-
>
MATLAB计算机视觉与深度学习实战-赠在线交流卡和本书源码
精通Transformer:从零开始构建最先进的NLP模型 版权信息
- ISBN：9787576322279
- 条形码：9787576322279 ; 978-7-5763-2227-9
- 装帧：一般胶版纸
- 册数：暂无
- 重量：暂无
- 所属分类：>
精通Transformer:从零开始构建最先进的NLP模型 本书特色
ChatGPT红得发紫，强得让人类心悸。 但在它的背后，还隐藏着一位真正的大佬。 它的名字叫做——Transformer！ 在大数据和人工智能时代，机器学习 (Machine Learning,ML) 和 深 度 学 习 (DeepLeamning,DL) 已经成为各行各业解决问题的有效方法，自然语言处理 (Natural Language Processing,NLP) 是深度学习的重要应用领域之一。在过去的二十年中，自然语言处理经历了翻天 覆地的变化：从传统的自然语言处理方法 (n-gram 语言模型、基于TF-IDF 的信息检索模型、独热编码文档术语矩阵等)到深度学习方法 (RNN、CNN、FFNN、LSTM 等),再到Transformer。 目前，基于Transformer 的语言模型主导了自然语言处理领域的研究，已经成为一种新的范式。 Transformer模型是谷歌公司于2017年推出的自然语言处理经典模型。在自然语言处理任务中，Transformer 的表现超越了RNN 和 CNN,只需编码器/解码器就能达到很好的效果，并且可以实现 高效的并行化。 Transformer 社区提供的大量预训练模型为自然语言处理的研究和生成部署提供了*前沿的基准。 本书涵盖了Transformer 深度学习体系结构的理论知识和实践指南。借助 Hugging Face 社区 的Transformer 库，本书循序渐进地提供了各种自然语言处理问题的解决方案。本书采用理论和实 践相结合的方式，系统地阐述了自然语言处理的相关理论和技术，详细介绍了使用Transformer 训练、微调和部署自然语言处理解决方案的流程。 通过本书的学习，读者可以利用Transformer 库探索*先进的自然语言处理解决方案；使用 Transformer体系结构训练任何语言模型；微调预训练的语言模型以执行多个下游任务；监控训练过 程、可视化解释Transformer 内部表示以及部署生产环境。 本书的读者对象主要包括深度学习研究人员、自然语言处理从业人员、教师和学生。本书要求读者具有良好的Python 基础知识以及机器学习和深度学习的基本知识。
精通Transformer:从零开始构建最先进的NLP模型 内容简介
AI领域的基石王者,那些还沉迷于CNN，RNN的工程师被警告：放弃战斗吧，向Transformer投降！ 在过去的二十年中，自然语言处理研究领域发生了翻天覆地的变化。在这段时间里，自然语 言处理经历了不同的处理范式，并*终进入了一个由神奇的Transformer体系结构主导的新时代。 Transformer深度学习架构是通过继承许多方法而产生的，其中包括上下文词嵌入、多头注意力机制、位置编码、并行体系结构、模型压缩、迁移学习、跨语言模型等。在各种基于神经的自然语言处理方法中， Transformer架构逐渐演变为基于注意力的“编码器-解码器”体系结构，并持续发展到今天。现在，我们在文献中看到了这种体系结构的新的成功变体。目前研究已经发现了只使用 Transformer 架构中编码器部分的出色模型，如 BERT(Bidirectional Encoder Representations from Transformers,Transformers双向编码表示);或者只使用Transformer架构 中解码器部分的出色模型，如 GPT(Generated Pre -trained Transformer,生成式的预训练 Transformer)。 本书涵盖了这些自然语言处理方法。基于 Hugging Face社区的Transformer库，我们能够轻 松地使用Transformer。 本书将循序渐进地提供各种自然语言处理问题的解决方案：从文档摘要到问 题回答系统。我们将看到，基于Transformer, 可以取得*先进的成果。
精通Transformer:从零开始构建最先进的NLP模型 目录
Transformer到底是什么，让ChatGPT如此迷恋？
这只变形金刚，到底是只什么怪兽？
——用于自然语言处理(NLP)的神经网络架构
第1 章 从词袋到Transformer。本章简要介绍了自然语言处理的历史，并将传统方法、深度学习模型(如CNIN、RNN 和LSTM) 与Transformer模型进行了比较分析。
第2章 Transformer的实践操作入门。本章深入探讨了如何使用Transformer模型，并通过实际例子阐述了分词器和模型，如BERT。
第3章 自编码语言模型。本章讨论了如何从零开始在任何给定语言上训练自编码语言模型。训练过程将包括模型的预训练和特定任务的训练。
第4章 自回归和其他语言模型。本章讨论了自回归语言模型的理论细节，并引导读者如何在自己的语料库中对模型进行预训练。读者将学习如何在自己的文本上预训练任何语言模型(如GPT- 2),并在各种任务(如语言生成)中使用该模型。
第5章 微调文本分类语言模型。在本章中，读者将学习如何配置文本分类的预训练模型，以及如何微调文本分类下游任务的模型(如情感分析或多类别分类)。
第6章 微调标记分类语言模型。本章讲述如何微调标记分类任务的语言模型[如命名实体识别 (NER)、词性标注 (POS)和问题回答 (QA)系统]。
第7章 文本表示。在本章中，读者将学习文本表示技术以及如何有效地利用Transformer 体系结构，特别是对于无监督任务，如聚类、语义搜索和主题建模。
第8章 使用高效的Transformer。 本章展示了如何使用提炼、剪枝和量化方法，从预训练模型中 生成高效的模型。然后，读者将获得有关高效稀疏Transformer的知识，如Linformer 和 BigBird，以及如何使用这些模型。
第9章 跨语言和多语言建模。在本章中，读者将学习多语言和跨语种语言模型预训练以及单语言和多语言预训练之间的差异。本章涉及的其他主题包括因果语言建模和翻译语言建模。
第10章 部署 Transformer 模型。本章将详细介绍如何在 CPU/GPU环境中，为基于 Transformer的自然语言处理解决方案提供服务。本章还将描述如何使用 TensorFlow 扩展 (TFX) 部署机器学习系统。
第11 章 注意力可视化与实验跟踪。本章涵盖两个不同的技术概念：注意力可视化与实验跟踪。 我们将使用诸如exBERT 和 BertViz之类的复杂工具进行实验练习。
展开全部
精通Transformer:从零开始构建最先进的NLP模型 作者简介
本书由Savas Yldmnm专业人士编写 萨瓦斯 ·伊尔蒂利姆 (Savas Yldmnm) 毕业于伊斯坦布尔技术大学计算机工程系，拥有自然 语言处理 (Natural Language Processing,NLP)专业的博士学位。目前，他是土耳其伊斯坦布尔 比尔基大学的副教授，也是加拿大瑞尔森大学的访问研究员。他是一位积极热情的讲师和研究员， 具有20多年教授机器学习、深度学习和自然语言处理等课程的丰富经验。他开发了大量的开源软件 和资源，为土耳其自然语言理解社区做出了重大贡献。他还为人工智能公司的研究开发项目提供全 面的咨询服务。
书友推荐
- >
名家带你读鲁迅:故事新编
名家带你读鲁迅:故事新编
¥13.0¥26.0 - >
有舍有得是人生
有舍有得是人生
¥19.4¥45.0 - >
推拿
推拿
¥12.2¥32.0 - >
烟与镜
烟与镜
¥25.1¥48.0 - >
自卑与超越
自卑与超越
¥13.1¥39.8 - >
龙榆生：词曲概论/大家小书
龙榆生：词曲概论/大家小书
¥9.1¥24.0 - >
中国人在乌苏里边疆区:历史与人类学概述
中国人在乌苏里边疆区:历史与人类学概述
¥32.9¥48.0 - >
伯纳黛特,你要去哪(2021新版)
伯纳黛特,你要去哪(2021新版)
¥20.4¥49.8
本类畅销
-
数学之美
¥48.3¥69 -
浪潮之巅-下册-第二版
¥22.1¥45 -
挑战程序设计竞赛(第2版)
¥55.3¥79 -
算法竞赛入门经典-(第2版)
¥34.9¥49.8 -
2022图书×抽奖盲袋
¥9.9¥25 -
2023读书月阅读盲盒——天黑，闭眼，刀谁？
¥42.3¥158
