小猪学AI—图像分类之猫狗识别

发表评论

概述

前段时间尝试了手写数字的识别，因为模型是使用比较干净的黑底白字图片训练的，直接拿拍的手写照片识别效果不太好，无论是拍照时光线的明暗不均匀、笔的粗细、纸张的边缘等都对模型识别有很大影响，所以当时在模型识别前做了大量的图片预处理工作才使实际的应用准确率得到提升。难道图片的识别都要做如此复杂的预处理吗？ 阅读全文

如何用python解析cifar10数据集图片

发表评论

概述

通用图像分类公开的标准数据集常用的有CIFAR、ImageNet、COCO等，常用的细粒度图像分类数据集包括CUB-200-2011、Stanford Dog、Oxford-flowers等。其中ImageNet数据集规模相对较大，大量研究成果基于ImageNet。ImageNet数据从2010年来稍有变化，常用的是ImageNet-2012数据集，该数据集包含1000个类别：训练集包含1,281,167张图片，每个类别数据732至1300张不等，验证集包含50,000张图片，平均每个类别50张图片。 阅读全文

python skimage图像处理

发表评论

skimage即是Scikit-Image。基于python脚本语言开发的数字图片处理包，比如PIL,Pillow, opencv, scikit-image等。 PIL和Pillow只提供最基础的数字图像处理，功能有限；opencv实际上是一个c++库，只是提供了python接口，更新速度非常慢。scikit-image是基于scipy的一款图像处理包，它将图片作为numpy数组进行处理，与matlab一样。 阅读全文

如何用python解析mnist图片

发表评论

MNIST 数据集是一个手写数字识别训练数据集，来自美国国家标准与技术研究所National Institute of Standards and Technology (NIST)。训练集 (training set) 由来自 250 个不同人手写的数字构成，其中 50% 是高中学生，50% 来自人口普查局 (the Census Bureau) 的工作人员。测试集(test set) 也是同样比例的手写数字数据。 阅读全文

小猪学AI—CNN图像识别之手写数字

发表评论

前段时间忙了好一阵，终于有时间继续学习了，今天开始通过paddlepaddle的手写数字识别看一下简单的cnn图像识别模型是怎么训练出来的。

概述

手写识别属于典型的图像分类问题，比较简单，示例使用MNIST数据集，它包含7w个如下图所示的手写数字图片和对应的人工标注数值。图片是28×28的像素矩阵，标签则对应着0~9的10个数字。每张图片都经过了大小归一化和居中处理。

MNIST图片示例 阅读全文

LSM VS B-Tree

发表评论

LSM树整个结构不是有序的，所以不知道数据在什么地方，需要从每个小的有序结构中做二分查询，找到了就返回，找不到就继续找下一个有序结构。所以说LSM牺牲了读性能。但是LSM之所以能够作为大规模数据存储系统在于读性能可以通过其他方式来提高，比如读取性能更多的依赖于内存/缓存命中率而不是磁盘读取。 阅读全文

工程师如何高效学习

发表评论

高效学习的基本原则是价值导向，有价值输出(且尽可能放大价值)，有用户反馈。
最好的输入是输出，高效学习是闭环学习，反馈越快则学习越快。
要用好各种可能的杠杆(钱，公司资源，团队，github，社交媒体等等)，实现价值放大。
在基本原则的基础上，高效学习仍需计划性和优先级。高效学习遵循复利曲线是一个长期积累不断突破的过程。 阅读全文

成长之路—团队力量与个人成长

发表评论

本文总结下王老师关于个人、团队、管理上的一些观点：

一、在一个人的成功中，个人奋斗和团队的重要性和关系是怎么摆的？

我们每个人在学生时代学了很多年，其实个人能力已经有了很强的积累。但是应该说到工作以后，你才真正体会到团队的作用到底有多大。

学生时代只要你自己努力，然后把考试成绩考的很高，你就是一个好学生。但是做一个人类进化历史的对比，为什么人类在各种生物的进化过程中胜出了呢？在力量、速度，甚至听觉、视觉各方面，很多动物比人还强，但人类正是因为有了语言，有了互相沟通，形成团队，才迸发出更大的力量，成为这个星球的主宰。

我们真正开始工作以后，首先要学会如何在团队中工作，以及如何在团队中获得更多成长。我们真正要做一件事的时候，是在团队中大家一起协同。不仅在小团队是这样，随着工作越来越多，要负责的事情越来越大、越来越重要，越会体会团队的重要性。

nginx配置https

发表评论

最近做点小程序，服务端api必须是https域名，配置方法如下：

创建ssh证书

自己生成CA证书：（自己生成的根证书浏览器不认，会提示不安全，但https可访问）
cd /home/openssl
openssl genrsa -des3 -passout pass:123456 -out test.pem 2048  #生成RSA私钥
openssl rsa -passin pass:123456 -in test.pem -out test.key  #提取密钥中的公钥
openssl req -new -key test.key -out test.csr -subj /C=CN/ST=beijing/L=beijing/O=YAN/CN=www.yanjingang.com #生成证书请求文件
openssl x509 -req -days 365 -in test.csr -signkey test.key -out test.crt  #生成自签名证书
openssl x509 -in test.crt -noout -text  #查看证书文件

阿里云、百度云有免费的单域名DV证书(下载注意选择nginx版本证书)

成长之路—抓大放小

发表评论

“干工作要注意抓大放小，太过于陷入细节难成大事。”

“干工作要注重抓小防大，不注意细节，问题累加最终酿成大祸。”

上面的说法似乎都有道理，都是职场老手、职场精英的经验总结，有些甚至都有血的教训。但听了这些话后，似乎更加不知道该怎么干了。

生活中有太多类似的做人做事的道理，太多格言警句给予我们做人做事的方法论，但又往往是自相矛盾。

“做大事者不拘小节。”

“关注细节，成就大事。”

那么，面对这些看起来有些相互矛盾，而又成为人类发展历史长河中的宝贵经验，我们应该怎么做呢？

方法

我认为，至少应该从三个方面入手。