论架构师的自我修养

发表评论

架构师，当然是脑力劳动者，但是，同样是脑力劳动也存在重大的差别。有一类脑力劳动的成果，是比较容易被评价的。或者能够判断其对错：比如考试的分数；或者能够比较其高下：比如两个人下棋分出输赢；或者能够交由市场来判断：比如某种UI/UE设计，我们可以通过数据统计，了解其受用户欢迎的程度。 阅读全文

消息队列设计精要

发表评论

消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。 当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发的Notify、MetaQ、RocketMQ等。 本文不会一一介绍这些消息队列的所有特性，而是探讨一下自主开发设计一个消息队列时，你需要思考和设计的重要方面。过程中我们会参考这些成熟消息队列的很多重要思想。 本文首先会阐述什么时候你需要一个消息队列，然后以Push模型为主，从零开始分析设计一个消息队列时需要考虑到的问题，如RPC、高可用、顺序和重复消息、可靠投递、消费关系解析等。 也会分析以Kafka为代表的pull模型所具备的优点。最后是一些高级主题，如用批量/异步提高性能、pull模型的系统设计理念、存储子系统的设计、流量控制的设计、公平调度的实现等。 阅读全文

一名分布式存储工程师的技能树是怎样的？

发表评论
分布式存储相关的系统大概分为几种(这里不说分布式计算相关系统)： 1. 分布式文件系统，比如HDFS，Ceph。这些专门存大文件。特别是HDFS大公司标配，不多说。

2. 对象存储，典型的就是Amazon S3，这种系统很多公司自己造给公司内部用，存图片等小文件，接口一般不会兼容Amazon S3，因为不需要，比如淘宝的TFS，基本思路就是将多个小文件合并成大文件存储，经典论文FB的HayStack。这种系统一般读多写少，不需要修改，很少删除，一致性也没那么强，系统相对好做。基本上HDFS+HBase就能搞定一个这种系统，HBase存元数据，利用HDFS的Append功能将小文件合并成大文件。 阅读全文

微服务部署面临哪些挑战？

发表评论
image

以前，我们邀请几位嘉宾讨论了他们在开发微服务时遇到的挑战，比如Fred George或Dustin Huptas和Andreas Schmidt。近日，Usman Ismail参加了一场小组会议，讨论了微服务持续交付面临的挑战，并决定随后详述其中的部分重点内容。他首先讨论了微服务其中一个基本原则的缺点，即允许大型团队通过快速原型和迭代以一种更加敏捷的方式推进（软件）开发： 阅读全文

Hadoop Shell命令

发表评论

FS Shell

调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更简单的/parent/child（假设你配置文件中的默认值是namenode:namenodeport）。大多数FS Shell命令的行为和对应的Unix Shell命令类似，不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr，其他信息输出到stdout。 阅读全文