分类目录归档:研发dev
高可用性系统在大众点评的实践与经验
一致性HASH算法详解
比如你有 N 个 cache 服务器(后面简称 cache ),那么如何将一个对象 object 映射到 N 个 cache 上呢?
Hadoop Shell命令
FS Shell
调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child,或者更简单的/parent/child(假设你配置文件中的默认值是namenode:namenodeport)。大多数FS Shell命令的行为和对应的Unix Shell命令类似,不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr,其他信息输出到stdout。
查看Linux某端口被哪个进程占用
例如:
小猪学arduino—Mac/Ubuntu系统上Arduino环境搭建
避免误删,自己搭建linux回收站
相信不少人都遇到过误删了在Linux虚拟机中写的程序文件,使忙活了半天的工作功亏一篑。其实可以通过alias rm为mv动作来解决误删问题。具体如下。
Linux History记录添加时间戳
熟悉bash的都一定知道使用history可以输出你曾经输入过的历史命令,例如 :
[root@YAN ~]# history | more
6 ./test.sh
7 vim test.sh
8 ./test.sh
但是这里只显示了命令,并没有显示执行命令的时间,因为保存历史命令的~/.bash_history里并没有保存时间。
samba的安装与使用
samba主要用于linux向window共享文件,本文讲解如何在linux中安装、配置并在windows挂载。
linux lsof命令详解
简介
lsof(list open files)是一个列出当前系统打开文件的工具。在linux环境下,任何事物都以文件的形式存在,通过文件不仅仅可以访问常规数据,还可以访问网络连接和硬件。所以如传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等,系统在后台都为该应用程序分配了一个文件描述符,无论这个文件的本质如何,该文件描述符为应用程序与基础操作系统之间的交互提供了通用接口。因为应用程序打开文件的描述符列表提供了大量关于这个应用程序本身的信息,因此通过lsof工具能够查看这个列表对系统监测以及排错将是很有帮助的。
df磁盘满了但是du未满时的处理
现象:
df看硬盘满了,但是du实际文件没占满。
$ df -h
/dev/sda6 1.3T 1.3T 0 100% /home
$ du -sh /home/
371G /home/
CentOs 6.x 升级 Python 版本
在CentOS 6.X 上安装 Python 2.7.X
CentOS 6.x 自带的python版本是 2.6 , 由于工作需要,很多时候需要2.7版本。所以需要进行版本升级。由于一些系统工具和服务是对 Python 有依赖的,所以升级 Python 版本需要注意。
php-fpm进程数优化
1、php-fpm优化参数介绍
他们分别是:pm、pm.max_children、pm.start_servers、pm.min_spare_servers、pm.max_spare_servers。
线上nginx配置优化
nginx/conf/nginx.conf
1.worker_processes
nginx要开启的进程数,一般等于cpu的总核数。
开发示例:
worker_processes 2;
线上示例:
worker_processes 8; //线上最大开到8即可
web页面响应时间长,要怎么排查?

说明:
web页面响应时间长,要怎么排查?
nginx日志切分方案
nginx的日志切分问题一直是运维nginx时需要重点关注的。本文将简单说明下nginx支持的两种日志切分方式。
mac下安装atom狂拽炫酷插件之activate-power-mode

1.安装atom
密码保护:小猪手把手教你科学上网
MongoDB导出/导入指定条件数据
–export
~/mongodb2.4.6/bin/mongoexport -h 127.0.0.1:27017 -d intelligence -c intelligence -q ‘{“type”:3,”source”:{$in:[208,210]}}’ -o /home/map/backup/tmp/intelligence_208_210.data
–import
~/mongodb2.4.6/bin/mongoimport -h 127.0.0.1:27017 -d intelligence_test -c intelligence /home/map/backup/tmp/intelligence_208_210.data
shell中使用expect实现自动应答
我们通过Shell可以实现简单的控制流功能,如:循环、判断等。但是对于需要交互的场合则必须通过人工来干预,有时候我们可能会需要实现和交互程序如telnet服务器等进行交互的功能。而Expect就使用来实现这种功能的工具。