AI理论方法

强化学习Q-Learning玩超级马里奥|实战

强化学习(Reinforcement Learning, RL) 是机器学习的一个领域,它关注智能代理应如何在环境中采取行动以最大化累积奖励的概念。强化学习是三种基本机器学习范式之一,与监督学习和无监督学习并列。 近期做了一个基于Q-Learning进行游戏的实战,以下是“环境+代码”。 环境 可以安装一个conda环境,我选用的python版本为3.8.9。 安装必备包 cmd中安装必备包,注意顺序,因为有些版本冲突,很多坑,我这儿已经趟过了。 pip install ale_py==0.7 pip install gym_super_mario_bros==7.3.0 nes_py pip install torch==1.10.1+cu113 torchvision==0.11.2+cu113 torchaudio===0.10.1+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html pip install stable-baselines3[extra] pip uninstall protobuf pip install protob...

零样本学习Zero shot learning|学习笔记

零样本学习(Zero shot learning,ZSL) 是机器学习中的一个问题。之所以独立出来,是因为它解决问题的思路不同于传统的机器学习方法。 Zero-shot Learning,零次学习。 模型对于训练集中没有出现过的类别,能自动创造出相应的映射: X → Y。 零数据学习的想法可以追溯到十多年前,但直到最近才主要在计算机视觉中进行研究,作为一种泛化到看不见的对象类别的方法。 一个关键的见解是利用自然语言作为灵活的预测空间来实现泛化和迁移。 通俗例子 背景 我们用小明找斑马的经典例子。某个周末,爸爸带小明到动物园玩,看到了马,爸爸告诉他,这是马。之后,又看到了老虎,告诉他: 看,这种身上有条纹的家伙就是老虎。最后,又带他去看了熊猫,对他说: 你看这熊猫是黑白色的。然后,爸爸给小明安排了一个任务,让他在动物园里找一种叫斑马的动物。由于小明没有见过斑马,于是爸爸给他讲了一下斑马的大概情况: 斑马形状像马,身上有像老虎一样的条纹,而且它像熊猫一样是黑白色的。结果,根据爸爸的描述,小明在动物园里轻松地找到了斑马。 这个例子说明,虽然你没见过斑马,但如果你清楚关于它的描述,那么很可能在你第一次看到斑马的照片时就能认出它。 ...

CLIP网络: 连接文本与图像|学习笔记

CLIP (Contrastive Language–Image Pre-training 对比语言-图像预训练) 现存问题 应用于机器视觉中的深度学习方法面临如下几个问题: 1.昂贵的数据集。典型的视觉数据集是劳动密集型的,创建成本高, while teaching only a narrow set of visual concepts ImageNet 数据集是该领域最大的努力之一,需要超过 25,000 名工作人员为 22,000 个对象类别注释 1400 万张图像。 2.多任务。标准视觉模型擅长一项任务且仅一项任务,需要付出巨大努力才能适应新任务 ImageNet 模型擅长预测 1000 个 ImageNet 类别,但这就是它“开箱即用”所能做的全部。如果我们希望执行任何其他任务,ML 从业者需要构建一个新数据集,添加一个输出头,并微调模型。 3.现实世界的表现不佳。在基准测试中表现良好的模型在压力测试中的表现令人失望.换句话说,“基准性能”和“真实性能”之间存在差距。我们推测这种差距的出现是因为模型通过仅优化基准性能来“作弊”,就像一个学生通过只研究过去几年考试中的问题通过考试一样。 CLIP网络 通过互联网上...

数据标注工具总结

Images 图像 labelImg – LabelImg is a graphical image annotation tool and label object bounding boxes in images CVAT – Powerful and efficient Computer Vision Annotion Tool labelme – Image Polygonal Annotation with Python VoTT – An open source annotation and labeling tool for image and video assets imglab – A web based tool to label images for objects that can be used to train dlib or other object detectors Yolo_mark – GUI for marking bounded boxes of objects in images for training ...

一图看懂表征学习

图中,立方体代表所有图像的极高维空间;表征学习试图找到特定类型图像所处的低维潜在子空间或流形(例如,狗流形) 假设你想向一群人中正在找你的人描述你的外貌,但他不知道你长什么样。你不会先说明你头发的像素1的颜色,然后是像素2,然后是像素3,等等。 相反,你会做出合理的假设,即对方对普通人的长相有一个大致的了解,然后用描述像素组的特征来修改此基线,比如我有一头金发或者戴眼镜。 只要这些陈述不超过10条,这个人就能够将描述映射回像素,在他们的脑海中生成你的图像。 这张照片可能并不完美,但它与你的真实相貌非常接近,他们可能会在数百人中找到你,即使他们以前从未见过你。 请注意,对于某些给定的图像,表征学习并不仅仅为一组给定的特征赋值,例如头发的金色、高度等。 表征学习的力量在于它实际学习哪些特征对于描述给定的观测值最重要,以及如何从原始数据生成这些特征。从数学上讲,它试图找到数据所在的高度非线性流形,然后建立完全描述该空间所需的维度。

python读写文件

文件格式 r r+ w w+ a a+ read + + + + write + + + + + write after seek + + + create + + + + truncate + + position at start + + + + position at end + + 其中:tructate在打开文件时,该文件变为空(文件的所有内容都将被删除) 错误:io.UnsupportedOperation: can’t do nonzero end-relative seeks w改为wb即可 中文问题 添加:, encoding=’utf-8′