AI研究方向

基于Transformer将英文翻译为中文|自然语言处理

近期关注了Transformer在图像处理中的应用,发现了Transformer在自然语言处理中的一个很有趣的应用,实现了下,并做了如下纪录,希望对大家有所帮助。亲测可行。 关于这个方法的希望大家留言一起探讨。 我认为,方法的难点是对应场景的语料库。本例中使用的是新闻类语料库(如人民日报中英文版)。 简介 采用Harvard开源的The Annotated Transformer 中文原理参考1:基于Transform的机器翻译系统  中文原理参考2:教你用PyTorch玩转Transformer英译中翻译模型 实现过程 下载程序包 Github项目 我搬运到了Gitee 安装环境与第三方包 管理员权限打开cmd 新建环境 En2CNTransf conda create –name En2CNTransf python=3.6 激活环境 conda activate En2CNTransf 安装如下包 pip install –upgrade pip pip install numpy pip install sacrebleu==1.4.14 pip install scikit-learn pip install...

计算机视觉(CV,Computer Vision)领域任务

目前计算机视觉(CV,computer vision)与自然语言处理(Natural Language Process, NLP)及语音识别(Speech Recognition)并列为人工智能(AI,artificial intelligence)的三大热点方向 。 图像分类、目标检测、分割是计算机视觉领域的三大任务。 如何从图像中解析出可供计算机理解的信息,是机器视觉(Machine Vision)的中心问题。 深度学习模型由于其强大的表示能力,加之数据量的积累和计算力的进步,成为机器视觉的热点研究方向。那么,如何理解一张图片呢?根据任务的需要,机器理解图像三个主要的层次: 一是分类(Classification),即是将图像结构化为某一类别的信息,用事先确定好的类别(category)或实例ID来描述图片。这一任务是最简单、最基础的图像理解任务,也是深度学习模型最先取得突破和实现大规模应用的任务。其中,ImageNet是最权威的评测集,每年的ILSVRC催生了大量的优秀深度网络结构,为其他任务提供了基础。在应用领域,人脸、场景的识别等都可以归为分类任务。 二是检测(Detection)。分类任务关心整体,给出的是整张...

目标检测Object Detection

定义 输入图像中往往有很多物体,目的是判断出物体出现的位置与类别,是计算机视觉中非常核心的一个任务。 一般会输出如下5个value: 物体类别class bounding box左上角x坐标x bounding box左上角y坐标y bounding box右下角x坐标x bounding box右下角y坐标y。 传统算法 传统算法对于目标检测通常分为3个阶段: 1.区域选取 首先选取图像中可能出现物体的位置,由于物体位置、大小都不固定,因此传统算法通常使用滑动窗口(Sliding Windows)算法,但这种算法会存在大量的冗余框,并且计算复杂度高。 2.特征提取 在得到物体位置后,通常使用人工精心设计的提取器进行特征提取,如SIFT和HOG等。由于提取器包含的参数较少,并且人工设计的鲁棒性较低,因此特征提取的质量并不高。 3.特征分类 对上一步得到的特征进行分类,通常使用如SVM、AdaBoost的分类器。 基于深度学习的目标检测算法 分类 1.两步 如下两步: 进行区域生成,该区域称之为region proposal(简称RP,一个有可能包含待检物体的预选框) 通过卷积神经网络进行样本分类 任务流程:特征提取 &#8...

中文文字识别OCR(代码1:CRNN网络)

功能:中文文字识别OCR 动机:笔者在进行中文文字识别时使用tesseract进行OCR发现效果不太好,使用百度、腾讯等AI平台进行OCR有次数限制。 网络:CRNN 环境:python3.7 源代码:https://github.com/Sierkinhane/CRNN_Chinese_Characters_Rec 码云镜像:https://gitee.com/zyabo/CRNNChineseCharactersRec 环境安装 安装anaconda环境:AIPyTorch13 cd source /home/zyb/zyb/anaconda3/etc/profile.d/conda.sh cd conda create –name AIPyTorch13 python=3.7.4 ipykernel 安装第三方包 cd source /home/zyb/zyb/anaconda3/etc/profile.d/conda.sh conda activate AIPyTorch13 pip install msgpack pip install jupyter pip install torch==1.3.1 pip ...

人工智能对对联(代码1:CNN+GRU+Attention网络、PyTorch)

春节期间来玩一玩对对联。 功能:对对联,输入上联得到下联。 网络:CNN+GRU+Attention 环境:python3.7 + PyTorch 1.3.1 源代码:https://github.com/neoql/open_couplet 环境安装 安装anaconda环境:AIPyTorch13 cd source /home/zyb/zyb/anaconda3/etc/profile.d/conda.sh cd conda create –name AIPyTorch13 python=3.7.4 ipykernel 安装第三方包 cd source /home/zyb/zyb/anaconda3/etc/profile.d/conda.sh conda activate AIPyTorch13 pip install msgpack pip install jupyter pip install torch==1.3.1 pip install torchvision==0.2.1 pip install matplotlib pip install numpy==1.19.5 pip install scip...

人工智能作古诗(代码2:LSTM-RNN网络、Keras)

功能:做古诗 网络:LSTM-RNN 环境:python3.7 + Keras +TensorFlow2.2.0 源代码:https://github.com/youyuge34/Poems_generator_Keras 码云镜像:https://gitee.com/zyabo/PoemsGeneratorKeras 环境安装 安装anaconda环境:AIPyTorch13 cd source /home/zyb/zyb/anaconda3/etc/profile.d/conda.sh cd conda create –name AIPyTorch13 python=3.7.4 ipykernel 安装第三方包 cd source /home/zyb/zyb/anaconda3/etc/profile.d/conda.sh conda activate AIPyTorch13 pip install msgpack pip install jupyter pip install torch==1.3.1 pip install torchvision==0.2.1 pip install matplotlib pip...