作者归档:yanjingang

小猪学AI—迁移学习之人脸识别

概述

想给家里的小八爪机器人加上人脸识别功能,比如瞄准的是我时就不能发射炮弹,这样儿子就没法拿这个怪物打我了。。。(也可以在工位上加个摄像头,领导来了提前报警。。。) 阅读全文

强化学习之下棋高手

一、概述

儿子的国际象棋水平渐长,我已经逐渐下不过他了,作为陪练水平这么不堪怎么能行?!可是自己研究棋谱的时间有点少,自认成为棋协大师的概率比较低,想来想去还是参考AlphaGo Zero做个AI吧,一方面有可能训练出一个大师级的AI做儿子的陪练对棋艺的提升有所帮助,另一方面刚好自己也能顺便学习强化学习。 阅读全文

AlphaGo论文译文:用通用强化学习自我对弈,掌握国际象棋和将棋 Mastering-Chess-and-Shogi-by-Self-Play-with-a-General-Reinforcement-Learning-Algorithm

AlphaGo论文的译文:用通用强化学习自我对弈,掌握国际象棋和将棋 Mastering-Chess-and-Shogi-by-Self-Play-with-a-General-Reinforcement-Learning-Algorithm 阅读全文

小猪学AI—图像分类之猫狗识别

概述

前段时间尝试了手写数字的识别,因为模型是使用比较干净的黑底白字图片训练的,直接拿拍的手写照片识别效果不太好,无论是拍照时光线的明暗不均匀、笔的粗细、纸张的边缘等都对模型识别有很大影响,所以当时在模型识别前做了大量的图片预处理工作才使实际的应用准确率得到提升。难道图片的识别都要做如此复杂的预处理吗? 阅读全文

如何用python解析cifar10数据集图片

概述

通用图像分类公开的标准数据集常用的有CIFARImageNetCOCO等,常用的细粒度图像分类数据集包括CUB-200-2011Stanford DogOxford-flowers等。其中ImageNet数据集规模相对较大,大量研究成果基于ImageNet。ImageNet数据从2010年来稍有变化,常用的是ImageNet-2012数据集,该数据集包含1000个类别:训练集包含1,281,167张图片,每个类别数据732至1300张不等,验证集包含50,000张图片,平均每个类别50张图片。 阅读全文

python skimage图像处理

skimage即是Scikit-Image。基于python脚本语言开发的数字图片处理包,比如PIL,Pillow, opencv, scikit-image等。 PIL和Pillow只提供最基础的数字图像处理,功能有限;opencv实际上是一个c++库,只是提供了python接口,更新速度非常慢。scikit-image是基于scipy的一款图像处理包,它将图片作为numpy数组进行处理,与matlab一样。 阅读全文

如何用python解析mnist图片

MNIST 数据集是一个手写数字识别训练数据集,来自美国国家标准与技术研究所National Institute of Standards and Technology (NIST)。训练集 (training set) 由来自 250 个不同人手写的数字构成,其中 50% 是高中学生,50% 来自人口普查局 (the Census Bureau) 的工作人员。测试集(test set) 也是同样比例的手写数字数据。 阅读全文

小猪学AI—CNN图像识别之手写数字

前段时间忙了好一阵,终于有时间继续学习了,今天开始通过paddlepaddle的手写数字识别看一下简单的cnn图像识别模型是怎么训练出来的。

概述

手写识别属于典型的图像分类问题,比较简单,示例使用MNIST数据集,它包含7w个如下图所示的手写数字图片和对应的人工标注数值。图片是28×28的像素矩阵,标签则对应着0~9的10个数字。每张图片都经过了大小归一化和居中处理。

MNIST图片示例 阅读全文

LSM VS B-Tree

LSM树整个结构不是有序的,所以不知道数据在什么地方,需要从每个小的有序结构中做二分查询,找到了就返回,找不到就继续找下一个有序结构。所以说LSM牺牲了读性能。但是LSM之所以能够作为大规模数据存储系统在于读性能可以通过其他方式来提高,比如读取性能更多的依赖于内存/缓存命中率而不是磁盘读取。 阅读全文