NLP自然语言处理

9月 21 2021
NLP自然语言处理 / Transformers

基于Transformer将英文翻译为中文|自然语言处理

近期关注了Transformer在图像处理中的应用，发现了Transformer在自然语言处理中的一个很有趣的应用，实现了下，并做了如下纪录，希望对大家有所帮助。亲测可行。 关于这个方法的希望大家留言一起探讨。 我认为，方法的难点是对应场景的语料库。本例中使用的是新闻类语料库（如人民日报中英文版）。 简介 采用Harvard开源的The Annotated Transformer 中文原理参考1:基于Transform的机器翻译系统  中文原理参考2:教你用PyTorch玩转Transformer英译中翻译模型 实现过程 下载程序包 Github项目 我搬运到了Gitee 安装环境与第三方包 管理员权限打开cmd 新建环境 En2CNTransf conda create –name En2CNTransf python=3.6 激活环境 conda activate En2CNTransf 安装如下包 pip install –upgrade pip pip install numpy pip install sacrebleu==1.4.14 pip install scikit-learn pip install...

2月 05 2021
NLP自然语言处理

中文文字识别OCR（代码1：CRNN网络）

功能：中文文字识别OCR 动机：笔者在进行中文文字识别时使用tesseract进行OCR发现效果不太好，使用百度、腾讯等AI平台进行OCR有次数限制。 网络：CRNN 环境：python3.7 源代码：https://github.com/Sierkinhane/CRNN_Chinese_Characters_Rec 码云镜像：https://gitee.com/zyabo/CRNNChineseCharactersRec 环境安装 安装anaconda环境：AIPyTorch13 cd source /home/zyb/zyb/anaconda3/etc/profile.d/conda.sh cd conda create –name AIPyTorch13 python=3.7.4 ipykernel 安装第三方包 cd source /home/zyb/zyb/anaconda3/etc/profile.d/conda.sh conda activate AIPyTorch13 pip install msgpack pip install jupyter pip install torch==1.3.1 pip ...

2月 05 2021
AI文艺 / NLP自然语言处理

人工智能对对联（代码1：CNN+GRU+Attention网络、PyTorch）

春节期间来玩一玩对对联。 功能：对对联，输入上联得到下联。 网络：CNN+GRU+Attention 环境：python3.7 + PyTorch 1.3.1 源代码：https://github.com/neoql/open_couplet 环境安装 安装anaconda环境：AIPyTorch13 cd source /home/zyb/zyb/anaconda3/etc/profile.d/conda.sh cd conda create –name AIPyTorch13 python=3.7.4 ipykernel 安装第三方包 cd source /home/zyb/zyb/anaconda3/etc/profile.d/conda.sh conda activate AIPyTorch13 pip install msgpack pip install jupyter pip install torch==1.3.1 pip install torchvision==0.2.1 pip install matplotlib pip install numpy==1.19.5 pip install scip...

2月 05 2021
AI文艺 / NLP自然语言处理

人工智能作古诗（代码2：LSTM-RNN网络、Keras）

功能：做古诗 网络：LSTM-RNN 环境：python3.7 + Keras +TensorFlow2.2.0 源代码：https://github.com/youyuge34/Poems_generator_Keras 码云镜像：https://gitee.com/zyabo/PoemsGeneratorKeras 环境安装 安装anaconda环境：AIPyTorch13 cd source /home/zyb/zyb/anaconda3/etc/profile.d/conda.sh cd conda create –name AIPyTorch13 python=3.7.4 ipykernel 安装第三方包 cd source /home/zyb/zyb/anaconda3/etc/profile.d/conda.sh conda activate AIPyTorch13 pip install msgpack pip install jupyter pip install torch==1.3.1 pip install torchvision==0.2.1 pip install matplotlib pip...

2月 05 2021
AI文艺 / NLP自然语言处理

人工智能作古诗（代码1：RNN网络、python2.7 + tensorflow1.x）

功能：做古诗 网络：RNN 环境：python2.7 + tensorflow1.x 参考源代码位置：https://github.com/xue2han/AncientChinesePoemRNN 环境安装 安装anaconda环境：AITF1PoetPY2 cd source /home/zyb/zyb/anaconda3/etc/profile.d/conda.sh cd conda create –name AITF1PoetPY2 python=2.7 ipykernel 安装第三方包 cd source /home/zyb/zyb/anaconda3/etc/profile.d/conda.sh conda activate AITF1PoetPY2 pip install  numpy==1.14.4 pip install  tensorflow==1.0 pip install jieba==0.42 pip install gensim==3.8.3 conda install cudatoolkit=10.0 git下载代码 cd cd /home/zyb/zyb/Poet git clone ht...

5月 29 2020
NLP自然语言处理

自然语言处理

自然语言处理：自然语言处理（NLP）是与计算机和人类（自然）语言之间的交互有关的人工智能领域。 从简单的意义上讲，自然语言处理将机器学习应用于文本和语言，以教会计算机理解口头和书面文字。NLP的主要重点是以一种有用的方式来阅读，解密，理解和理解人类语言。  现实生活中的NLP示例：您将在生活中发现许多NLP应用。在这里，我们列举几个 将一种语言翻译成另一种语言，例如Google Translator 检查语法错误，即Microsoft word或Grammarly应用NLP来检查和更正语法错误。 情感分析可识别文本的情绪或主观意见 总结文本或文章 预测书籍的类型 在虚拟助手（例如Apple Siri，Google Assistant和Amazon Alexa）中使用的语音识别 问题回答 NLP如何工作？ 大多数NLP算法都是分类模型，其中包括Logistic回归，朴素贝叶斯，基于决策树的CART模型，最大熵和其他可预测结果的分类算法。 NLP的工作过程可以分为三个主要步骤： 步骤1：预处理文本，包括清理数据，标记化，词干，词性（POS）标记，词法化，名称实体识别（NER） 步骤2：此步骤用于向量化数据，即将文本编码为整数（...