大公司都有啥开源项目~~~Ali,百度,腾讯,360,新浪,搜狐,Samsung等

新民主主义革命字体是近日可比火的


奇虎360** https://github.com/Qihoo360**

图片 1

1.MySQL中间层
Atlas

Atlas是由 Qihoo 360, 
Web平台部基础架构团队开发敬服的一个基于MySQL协议的数目中间层项目。它在MySQL官方推出的MySQL-Proxy
0.8.2本子的根底上,修改了大量bug,添加了过多功效特色。近日该类型在360合作社内部获得了广泛应用,很多MySQL业务曾经接入了Atlas平台,每一天承载的读写请求数达几十亿条。

主要成效:
* 读写分离
* 从库负载均衡
* IP过滤
* SQL语句黑白名单
* 自动分表

越多内容:https://github.com/Qihoo360/Atlas

 

style=”font-size: 14pt; color: #00ccff;”>2.360黑科技=》DroidPlugin 

​DroidPlugin 是360手提式有线电话机助手在 Android
系统上落实了一种新的插件机制:它能够在无需安装、修改的意况下运作APK文件,此机制对创新大型APP的架构,落成多组织协作开发具有一定的好处。

特点:

  1. 帮助Androd 2.3以上系统

  2. 插件APK完全不需做其余修改,能够单独设置运转、也得以做插件运维。要以插件形式运作有些APK,你无需再度编写翻译、无需掌握其源码。

  3. 插件的四大组件完全不要求在Host程序中注册,帮衬Service、Activity、BroadcastReceiver、ContentProvider四大组件

  4. 插件之间、Host程序与插件之间会相互认为对方已经”安装”在系统上了。

  5. API低侵入性:极少的API。HOST程序只是急需一行代码即可集成Droid
    Plugin

  6. 超强隔开分离:插件之间、插件与Host之间完全的代码级其他隔开:无法相互调用对方的代码。通信只可以采纳Android系统级别的简报情势。

  7. 协理具备系统API

  8. 财富完全切断:插件之间、与Host之间实现了能源完全割裂,不会现出资源窜用的情形。

  9. 落实了经过管理,插件的空进度会被当即回收,占用内部存储器低。

  10. 插件的静态广播会被当做动态处理,假使插件没有运转(即没有插件进度运转),其静态广播也永远不回被触发。

越来越多查看:https://github.com/Qihoo360/DroidPlugin/

 

style=”font-size: 14pt;”>3.高质量分布式存款和储蓄服务
HustStore

huststore 是叁个高品质的分布式存款和储蓄服务,不但提供了 10w QPS 级别的kv 存储的意义,还提供了 hash、set
等一名目繁多数据结构的支持,并且协助 二进制 的 kv 存款和储蓄,能够完全代表
Redis 的成效。别的,huststore 还结合特有的 HA
模块完结了分布式音讯队列的功效,包涵音信的流式推送,以及信息的
公布-订阅 等功用,能够完全代替 RabbitMQ 的功力。

特性

huststore 分为 hustdb 以及 HA 模块两大学一年级些。hustdb
(存款和储蓄引擎)的底层设计使用了独立开发的 fastdb,通过一套特种的 md5 db
将QPS 提高至 10w 级其余品位(含互联网层的支付)。HA 以 nginx
模块的点子开发。nginx 是工业级的 http server 标准,得益于此,huststore
具备以下特征:

  • 高吞吐量
    hustdb 的网络层选用了开源的 libevhtp 来贯彻,结合自主研究开发的高质量fastdb 存款和储蓄引擎,质量测试 QPS 在 10w 以上。

  • 高并发
    参考 nginx 的面世能力。

  • 高可用性
    huststore 全部架构帮忙 Replication (master-master),帮助 load
    balance 。
    HA 的可用性由nginx 的 master-worker 架构所保障。当某多个 worker
    意外挂掉时, master 会自动再开发银行多个 worker 进度,而且七个 worker
    之间是相互独立的,从而确定保证了 HA 的高可用性。
    huststore 的高可用性由其全部架构特点保险。由于 hustdb
    的仓库储存节点选拔了 master-master 的结构,当某3个储存节点挂掉时,HA
    会自动将呼吁打到其它一台 master,同时 HA
    会根据活动进行负荷均衡,将数据分布存储在多个hustdb节点上,由此储存引擎不设有单点限制。
    与此同时 HA 集群本人也是分布式的布署性,而且每一个 HA
    节点都以单独的,当某一台 HA 挂掉时, LVS
    会自动将呼吁打到其余可用的 HA 节点,从而消除了 HA 得单点限制。

  • 通用性的接口
    huststore 使用 http 作为通用协议,因而客户端的兑现不限制于言语。

  • 支撑二进制的 key-value

越多查看:https://github.com/Qihoo360/huststore

 

4.分布式配置管理工科具
QConf

QConf 是奇虎 360
内部分布式配置管理工科具。用来代表守旧的陈设文件,使得配置新闻和程序代码分离,同时安顿变化能够实时同步到客户端,而且有限支撑用户快捷读取配置,那使的工程师从零星的布置修改、代码提交、配置上线流程中解放出来,十分大地简化了安顿管理工科作。

特点

  • 一处修改,全部机器实时同步立异

  • 快快读取配置

  • 安装配置方便,使用不难

  • 服务器宕机、互联网中断、集群迁移等卓殊情形对用户透明

  • 支持c/c++、shell、php、python、lua 等语言

更多查看:https://github.com/Qihoo360/QConf

 

style=”color: #00ccff; font-size: 14pt;”>5.开源类Redis存款和储蓄系统 Pika

Pika 是 360 DBA 和基础架构组联合开发的类 Redis 存款和储蓄系统,完全协理Redis 商谈,用户不须求修改任何代码,就足以将服务迁移至 Pika。有珍贵Redis 经验的 DBA 维护 Pika 不须求学习成本。

Pika 首要化解的是用户使用 Redis 的内部存款和储蓄器大小超过 50G、80G
等等那样的情状,会境遇运行苏醒时间长,一主多从代价大,硬件费用贵,缓冲区简单写满等难点。Pika
正是指向这一个处境的1个消除方案。

特点

  • 容积大,帮忙百G数据量的存款和储蓄

  • 包容redis,不用修改代码即可平滑从redis迁移到pika

  • 扶助大旨(slaveof)

  • 弹无虚发的运转命令

愈来愈多内容:https://github.com/Qihoo360/pika

 

style=”color: #00ccff;”>6.对象缓存服务器 kmemcache

分布式linux内核内部存款和储蓄器对象缓存服务器,实现基于memcached v1.4.15,基本匹配memcached的富有操作。经初阶测试,内存数据操作比memcached快1倍,网络并发量比memcached的也大过多,近来处于阿尔法版本。

可取:由于在基础的socket层完毕,全体拍卖网络事件性质比epoll机制快,别的无需内部存款和储蓄器由用户空间到基本空间的正片。

缺点:不提议在32bits下使用。

越多内容: https://github.com/Qihoo360/kmemcache

 

style=”color: #00ccff; font-size: 14pt;”>7.ngx_http_subrange_module

当Nginx作为文件下载服务的反向代理,用户请求二个这一个大的公文的时候,它会间接占满反向代理服务器与后端主机之间的带宽。因为nginx3次得到整个文件,缓冲获取到的文本,导致客户端不能够及时读取到。带宽使用和iowait会很高。

ngx_http_subrange_module正是为着缓解这几个题材,它能分开HTTP
requests。将时局据量的HTTP请求切分为四个子请求,当下载2个1
G的文本,subrange将从后端主机中下载文件块,比如先拿走5 M,然后再拿走5
M,直到客户端下载完全体文件。

更多查看:https://github.com/Qihoo360/ngx_http_subrange_module

 

8.联合进行到异步的类库
马里奥

马里奥是二个让编写从一块到异步的类库,它的线程安全较大,易于使用。Mario的最大旨的想法正是为着削减人口的布局,下跌本钱和岁月投入。可是有了这一个类库,操作人士就足以挤出精力做别的事务了。所以
马里奥 类库能够很随意的消除你的标题,你只需求您本身的音讯成效。

引擎类型:

  • memory,那类别型便是将数据缓冲存款和储蓄器留在内部存款和储蓄器里。

  • file,那种类型正是可以在本地日志路径里成立做出一个 write2file。

越多查看:https://github.com/Qihoo360/Mario

 

任何一种类请去360github库观察

 —————————————————————————————————————-

百度
Baidu**
 https://github.com/fex-team/**

图片 2

https://github.com/ecomfe

 

1.UEditor
编辑器

UEditor是由百度web前端研究开发部开发所见即所得富文本web编辑器,具有轻量,可定制,重视用户体验等风味。

器重特点:

轻量级:代码精简,加载高效。

定制化:
崭新的分支理念,满足多元化的需要。
采用三层架构:

  1. 大旨层: 为命令层提供底层API,如range/selection/domUtils类。
  2. 命令插件层: 基于宗旨层开发command命令,命令之间相互独立。
  3. 界面层: 为命令层提供用户使用界面。
    满足分歧层次用户的须求。

https://github.com/fex-team/ueditor

https://github.com/fex-team/umeditor

 

style=”font-size: 14pt;”>2.ECharts 图表库

ECharts开源来自百度商业贸易前端数据可视化团队,基于html5
Canvas,是多少个纯Javascript图表库,提供直观,生动,可相互,可特性化定制的数额可视化图表。立异的拖拽重总括、数据视图、值域漫游等特征大大增强了用户体验,赋予了用户对数据开始展览开挖、整合的能力。提供商业产品常用图表,底层基于ZRender(一个簇新的轻量级canvas类库),创立了坐标系,图例,提示,工具箱等基础零部件,并在此上营造出折线图(区域图)、柱状图(条状图)、散点图(气泡图)、饼图(环形图)、K线图、地图、力导向布局图以及和弦图,同时协助任意维度的堆积和多图表混合表现。

更多:https://github.com/ecomfe/echarts

 

ECharts-X是 ECharts 团队生产的崭新 3D 可视化库,它是基于 ECharts
的恢宏,底层深度整合了 WebGL 库QTEK和 Canvas2D 库ZRender。

扩展:https://github.com/ecomfe/echarts-x

 

3.WebUploader
上传控件

WebUploader 是由Baidu
WebFE(FEX)团队开支的叁个简易的以HTML5为主,FLASH为辅的现代文件上传组件。在当代的浏览器里面能丰盛发挥HTML5的优势,同时又不丢掉主流IE浏览器,延用原来的FLASH运维时,兼容IE6+,Andorid
4+,IOS
6+。两套运转时,同样的调用形式,可供用户自由选择。选取大文件分片并发上传,非常大的滋长了文本上传功能。

https://github.com/fex-team/webuploader

 

style=”font-size: 14pt; color: #00ccff;”>4.百度脑图 KityMinder

KityMinder
是百度FEX团队的f-cube小组(原U艾德itor小组)的又一名篇。作为一款在线的脑图编辑工具,它具备众多Native编辑工具的互动体验。KM与UE有着相同的主旨,就是强调末了用户的运用体验。同时,它丰硕发挥了Web云存款和储蓄的优势,能够直接将编辑中的脑图同步到云端。其它,借由独创的
“云盘分享”功效,用户可以一键将近日编写的脑图直接生成在线链接共享给别的用户,完成无缝沟通。
KM是根据SVG技术完毕,使用JavaScript+html完毕。帮助绝半数以上的主流浏览器。
援救列表如下

  1. chrome
  2. firefox
  3. safari
  4. ie9-11

https://github.com/fex-team/kityminder

 

5.人造智能类别WAENVISIONP-CTC

WA福特ExplorerP-CTC 基于 CTC 方法,当前可用的一部分 CTC
完毕普通供给大量的内部存储器仍然是慢十到几百倍。

百度切磋所首席物经济学家 安德鲁 Ng
称他的研究重点是人工神经网络如何在图形处理单元 (GPUs) 上运转,让
WA奥迪Q7P-CTC 达成对 GPUs 和 x86 CPUs 的支撑。

connectionist temporal classification (CTC) 方法能够追溯到 二零零六 年,在
Swiss AI 研商所 IDSIA 诗歌上有记录。 百度切磋所开发的 WARAV4P-CTC 就依照CTC 方案,不过立异了其自小编的语音识别功用

https://github.com/baidu-research/warp-ctc

 

别的一体系请去baidu github库观察

 —————————————————————————————————————-

腾讯 QQ http://alloyteam.github.io/

图片 3

https://github.com/AlloyTeam/Mars

https://github.com/tencent-wechat

style=”font-size: 14pt; color: #ed0727;”>1.WeUI 为微信Web服务量身设计

WeUI
是一套同微信原生视觉体验一致的功底样式库,由微信官方安排团队为微信 Web
开发量身设计,能够令用户的行使感知特别统一。包罗buttoncelldialog、 progress、 toastarticleactionsheeticon等各式成分。

https://github.com/weui/weui

 

style=”font-size: 14pt; color: #ed0727;”>2.手提式有线电话机前端开发调节和测试利器
vConsole

我们在付入手提式有线电话机版网页的时候,常常会油但是生下边包车型地铁光景:

 (1)
开发时,在自身电脑上运维得出色的,在四哥大上开拓就挂了,不过手提式有线电话机上又看不到error
log; 

 (2)
上线后,某用户表示页面失灵,但大家和好又再现不出去,看不到用户侧的失误消息。

若是说(1)还是能够经过电脑再三再四手提式有线话机以查看log来化解,那(2)在并未周密的前端上报种类时就可怜低沉了。

作为开发者,大家的诉求非常粗大略:有没有高效的章程在手提式有线电话机前端页面来看log日志?vConsole就这么出现了!

https://github.com/WechatFE/vConsole

 

style=”font-size: 14pt; color: #ed0727;”>3.规范级Web图像处理引擎
AlloyImage

AlloyImage是一个用到Javascript语言开发的,基于Web的在线图像处理引擎,除了核心底层图像处理引擎,还同时并入了一些方便飞快的图像处理API,您能够将它差不多快捷的引用到你的Web网页中,做出与PhotoShop一样的天生丽质效果。甚至,你可以用AlloyImage来开发3个Web在线图像处理软件。

https://github.com/AlloyTeam/AlloyImage

https://github.com/AlloyTeam/AlloyPhoto 

 

style=”color: #00ccff;”>4. GoPng 图片合并并生成CSS

Css
七喜,有时也称为七喜图、天使图,是每2个前端开都会蒙受的标题,也是广大的小图片加载优化手段。 

在线版本:https://alloyteam.github.io/gopng/

源码地址:https://github.com/AlloyTeam/gopng

style=”line-height: 1.5; background-color: initial;”>合元素解: style=”line-height: 1.5; background-color: initial;”>https://github.com/luyongfugx/hcSpriteCuter
(二个由多张小图合并而成的Coca Cola图中抠出在那之中一张也许几张图片)

 

style=”color: #00ccff;”>5.可视化Web营造筑工程具
AlloyDesigner

AlloyDesigner
是一款致力于增强前端生产作用的浏览器内运营工具,AlloyDesigner + Chrome
F12(Especially with WorkSpace)  创设前端新的支付和测试方式

https://github.com/AlloyTeam/AlloyDesigner

 

style=”font-size: 14pt; color: #ed0727;”>6.Koala跨平台图形编写翻译工具

Koala是一款预处理器语言图形编写翻译工具,协理Less、Sass、CoffeeScript、Compass
framework 的即时编译。
无需手动输入指令去编写翻译,后台监听文件是或不是有变动,如有修改会自动举办编写翻译。能够大大升级 Web 开发中的工效。

成效特色

  • 多语言帮助 支持Less、Sass、CoffeeScript 和 Compass Framework。

  • 实时编写翻译 监听文件,当文件改变时自动执行编写翻译,这一切都在后台运营,无需人工操作。

  • 编写翻译选项 能够设置各类语言的编写翻译选项。

  • 项目布局 辅助为品种成立三个大局配置,为文件设置统一编写翻译选项。

  • 荒唐提醒 在编写翻译时假若碰着语法的错误,koala将在右下角弹出错误音讯,方便开发者定位代码错误地方。

  • 跨平台 Windows、Linux、Mac都能完善运转。

系统协助及须求

Koala帮助跨平台运维,完美同盟Windows、Linux与Mac 。
Linux系统下需安装好ruby运维条件, e.g. $ sudo apt-get install ruby.

https://github.com/oklai/koala

 

style=”font-size: 14pt;”>7.轻量级 CSS3 动画库
JX.Animate

JX.Animate
是3个开源的轻量级的CSS3动画库。动画能够应用规范的CSS3人命关天帧动画(KeyFrame)制作,也得以利用JavaScript制作,而且还足以支撑在JavaScript中动态变化动画关键帧。

https://github.com/AlloyTeam/JXAnimate

 

style=”color: #00ccff;”>8.Fanvas swf转为html5 canvas

Fanvas是八个把swf转为html5
canvas动画的系统,由两有个别构成:Actionscript实现的解析器、js运转库。Flash做动画是最成熟最高效的法子,但出于极端基本不帮忙Flash播放,那给终端的卡通制作带来了重重辛苦。Fanvas是Flash和Canvas的圆满结合,能够把swf(包含矢量和位图)完美地转载为canvas动画.

https://github.com/TencentOpen/Fanvas

 

9.身上调测平台
GT

GT(随身调)是APP的身上调测平台,它是一贯运营在大哥伦比亚大学上的“集成调测环境”(IDTE,
Integrated Debug
Environment)。利用GT,仅凭一部无绳电话机,无需延续电脑,您即可对APP进行快速的习性测试(CPU、内存、流量、电量、帧率/流畅度等等)、
开发日志的查阅、Crash日志查看、互连网数据包的抓取、APP内部参数的调节和测试、真机代码耗费时间计算等。假使你认为GT提供的成效还不够满足你的急需,您仍是能够采取GT提供的基础API自行开发有异样功用的GT插件,扶助您化解尤其复杂的APP调节和测试难点。

https://github.com/TencentOpen/GT

 

10.Frozen
UI 移动端UI框架

Frozen
UI是2个开源的简单易用,轻量急速的运动端UI框架。基于手Q样式规范,采取最常用的组件,做成手Q公用离线包收缩请求,升级情势友好,文书档案完善,最近周密采用在腾讯手Q增值业务中。

https://github.com/frozenui/frozenui

 

11.LivePool  Web
开发调节和测试工具

LivePool 是2个依照 NodeJS,类似 Fiddler 援助抓包和本土替换的 Web
开发调节和测试工具,是 Tencent AlloyTeam 在付出执行过程总括出的一套的方便的
WorkFlow 以及调节方案。

特性

  • 基于 NodeJS, 跨平台

  • 扶助 http 抓包和当地替换调节和测试,Https/WebSockets
    直接代理转载(暂不帮衬当地替换)

  • 便利的 UI 管理界面,跟 Fiddler 类似,下落学习开支

  • 能够脱离 UI
    后台运营,适应于一些不须求抓包,只必要选拔替换和简单路由的景色

  • 依照项目标轮换规则管理,方便快速,规则帮衬拖曳排序

  • 援救基于请求路径的本和姑件替换,帮助基于请求路径的路由转载(host
    配置)

  • 轮换类型帮助:文件/文件夹替换,combo合并替换,qzmin替换(批量combo),delay延时等

  • 支撑电动安装系统代理

  • 支撑规则过滤,只展现关心的伏乞

  • 提供构建 http get/post 请求界面,方便接口调节和测试

  • 特色效益:模拟gprs/3g等低网速(mac only)

  • 特点效益:协助离线站点到本地,并活动代码格式化

https://github.com/rehorn/livepool

 

style=”color: #00ccff; font-size: 14pt;”>**12.KNVProtoEngine 高质量树型协议处理引擎**

KNV是叁个形式自由的高质量树型协议处理引擎,是对Key-Value的五个通用结构化增加。

动用个性

正如NoSQL对SQL的绝望变革一样,KNV是对Key-Value的绝望变革!

世家都很熟稔Key-Value系统,但KV操作极不方便:

您不得不自个儿做乐观锁(读再次回到seq->修改->带seq写->seq变化则重头开头);
— 你只好拉取一堆数据,然后再领取你想要的一部分;
— 为了修改八个bit,你只好把一串数据拉取修改后再一起交给更新
唯独未来有KNV,一切都化解了。KNV时期来了,你还在迟疑吗?

动用场景

KNV是特意针对以Protocol
Buffers(或看似树型结构)存款和储蓄的存款和储蓄系统开发的,有二个应用场景:

  1. 仓库储存系统 处理用户请求的通用消除情势(Get/Set/Delete),能够适配任意用户自定义的数据结构。

  2. 代办/通用逻辑层 服务器处理Protocol Buffers协议的通用方法 –
    比如通用Proxy,透传多少个体协会议,
    对请求包进行鉴权、限频、总计等等操作,还支持对包体内容展开始审讯计,使用KNV协议,
    那种方法就有只怕还要很简单。

  3. 原生态 Protocol Buffers打解包库 的高品质代替品。

https://github.com/TencentOpen/KNVProtoEngine

 

13.Behaviac
游戏AI的付出框架组件

Behaviac是娱乐AI的付出框架组件,也是娱乐原型的高效设计工具。支持作为树BT,状态机FSM,HTN等八种范式,方便的编写制定和调节和测试。援助全平台,适用于客户端和服务器,助力游戏高速迭代开发。编辑器可以运作在PC上,操作方便直观可靠,协理实时和离线调节和测试;编辑器能够导出xml,bson等两种格式,更能够导出C++,C#源码,提供最高功用。运维时支持全平台,有C++和C#三个版本,原生帮忙Unity。

已被《每一日炫斗》、《QQ飞车》、《全体公民突击》、《全体公民夺宝》、《九龙战》等游戏及别的越来越多预研项目应用。

https://github.com/TencentOpen/behaviac

 

style=”color: #00ccff;”>14.现代构建系统 Typhoon Blade

Blade主要定位于linux下的特大型C++项目,密切合营研究开发流程,比如单元测试,持续集成,覆盖率总结等。但像unix下的文书过滤程序一
样,保持相对的独立性,能够独立运转。最近最首要协助i386/x86_64
Linux,今后能够设想帮衬别的的类Unix系统。

特点:

  • 机关分析头文件注重关系,创设受影响的代码。

  • 增量编写翻译和链接,只创设因改动受影响而急需营造的。

  • 活动总括库的直接注重,库的撰稿人只供给写出直接重视,营造时自动物检疫查所依靠的库是还是不是需求再一次构建。

  • 在自由代码树的任意子目录下都能创设。

  • 补助二回递归创设多少个目录下的保有目标,也支撑只创设任意的一定的靶子。

  • 不论是创设什么目的,这么些目的所依赖的靶子也会被机关连坐更新。

  • 放置 debug/release 三种构建类型。

  • 万紫千红高亮构建进度中的错误音讯。

  • 支持 ccache

  • 支持 distcc

  • 援助基于营造多平台目的

  • 援助创设时选取编写翻译器(不一致版本的gcc,clang等)

  • 支撑编写翻译 protobuf,lex, yacc, swig

  • 支撑自定义规则

  • 支撑测试,在命令行跑八个测试

  • 支撑相互测试(四个测试进度并发运营)

  • 帮忙增量测试(无需再度运转的测试程序自动跳过)

  • 集成 gperftools,自动物检疫查和测试测试程序的内部存款和储蓄器走漏

  • 营造脚本 vim 语法高亮

  • svn 式的子命令命令行接口。

  • 支撑 bash 命令行补全

  • 用 Python 编写,无需编写翻译,间接设置使用。

绝望制止以下难题:

  • 头文件更新,受影响的模块没有重新创设。

  • 被注重的库供给革新,而营造时没有被更新,比如某子目录重视遥远的某外部目录的代码,笔者在这几个目录营造,外部目录的代码会被机关检查是不是也要求再一次营造。

https://github.com/chen3feng/typhoon-blade

 

style=”font-size: 14pt; color: #ed0727;”>15.RapidJSON C++的JSON开发包

Rapidjson 是三个 C++ 的高速 JSON 解析器和生成器,使用 SAX/DOM 风格的
API 设计。

https://github.com/miloyip/rapidjson

 

style=”font-size: 14pt;”>16. 微信开源PhxSQL

PhxSQL是2个包容MySQL、服务高可用、数据强一致的关系型数据库集群。PhxSQL以单Master多Slave方式计划,在集群内当先十分之五机器存活的情况下,可自笔者完结机关Master切换,且保障数据一致性。

https://github.com/tencent-wechat/phxsql

 

 越来越多请自行查看:http://alloyteam.github.io/ https://github.com/tencent-wechat

 —————————————————————————————————————-

新浪:WeiBo https://github.com/weibocom

图片 4

style=”font-size: 14pt;”>1.分布式缓存服务器 memcachedb

class=”hilite1″>memcachedb是
一个由微博网的开发人士开放出来的开源项目,给memcached分布式缓存服务器添加了伯克利DB的持久化存款和储蓄机制和异步主辅复制机制,让memcached具备了事情复苏能力、持久化能力和分布式复制能力,卓殊适合于供给超高品质读写速度,可是不须要从严工作约束,可以被持久化保存的利用场景,例如 class=”hilite1″>memcachedb被选取在网易博客下边。

class=”hilite1″> class=”hilite1″>https://github.com/stvchu/memcachedb

2.动态流量管理方案
Upsync

Upsync,今日头条开源基于Nginx容器动态流量管理方案 。Nginx
以其超高的品质与平稳,在产业界得到了广泛的使用,和讯的七层就大方应用了
Nginx 。结合 Nginx 的健检模块,以及动态 reload
机制,能够接近无损的劳务的升迁上线与扩大容积。那么些时候扩容的频次相比低,大部分情景下是有安顿的扩大容积。Upsync,开发了模块
nginx-upsync-module,它的功能是拉取 consul 的后端 server
的列表,并更新 Nginx 的路由音信。此模块不借助于于别的第壹方模块。consul
作为 Nginx 的 db,利用 consul 的 KV 服务,每一种 Nginx work
进度独立的去拉取种种 upstream 的配置,并革新各自的路由。

https://github.com/weibocom/nginx-upsync-module

3.高质量的水源 Socket
完成 法斯特socket

Fastsocket 是多个高扩大性的 Socket 以及 Linux
内核的平底互连网实现。能够在多核机器上提供极好的质量,其它使用和掩护还分外不难。近期该项目早就在天涯论坛的生育环境中利用。该类型由哈工业余大学学东军事和政院学和今日头条网球联合会见重组的
法斯特os 团队开发,该团伙的任务是晋升 Linux 内核的频率。法斯特socket
近年来一度接纳在网易新浪的生产环境上,首要用于提供负载均衡服务的
HAProxy,线上实在品质提高一倍,从二〇一四年3月份安生运维现今,推测20拾1虚岁末实现负载均衡全体集群的
法斯特socket 升级。法斯特socket 完全匹配 BSD Socket API,现有种种基于
Socket 的网络采纳能够向来动用
法斯特sockt。 如今通过非常测试的常用服务软件有:HAProxy、Nginx、Lighttpd、Redis
和 Memcached。

https://github.com/fastos/fastsocket

4.轻量级 RPC 框架
Motan

Motan 是一套高品质、易于使用的分布式远程服务调用(奥迪Q5PC)框架。

功能

  • 支撑通过spring配置格局集成,无需额外编写代码即可为劳动提供分布式调用能力。

  • 支撑集成consul、zookeeper等安顿服务组件,提供集群环境的服务意识及治理能力。

  • 支撑动态自定义负载均衡、跨机房流量调整等高档服务调度能力。

  • 基于高并发、高负载场景进行优化,保险生产环境下君越PC服务高可用。

https://github.com/weibocom/motan

5.TCP
属性剖析工具 Tcpdive

Tcpdive 是 TCP 品质剖析工具,主要特色:

  • 越来越多 TCP 内部质量消息

  • 定量评估 TCP 质量创新

  • 描述在 TCP 层的 HTTP 处理,依赖于 HTTP Apps

  • 简单铺排,使用自个儿

Tcpdive 已经在博客园的生育条件上配备使用:

  • 增强天涯论坛图片服务品质

  • 提升今日头条摄像服务品质

  • 在无线和有线互联网中相比较 TCP 品质

  • 笔录分裂应用的 TCP 流量

https://github.com/fastos/tcpdive

style=”font-size: 14pt;”>6.PHP框架 Yaf

Yaf是一个C语言编写的PHP框架,Yaf 的风味:

  1. 用C语言开发的PHP框架, 相比较原生的PHP, 大约不会带动相当的属性费用.

  2. 抱有的框架类, 不须求编写翻译, 在PHP运营的时候加载, 并常驻内部存款和储蓄器.

  3. 更短的内部存款和储蓄器周转周期, 升高内部存储器利用率, 下跌内部存款和储蓄器占用率.

  4. 灵活的电动加载. 支持全局和一些三种加载规则, 方便类库共享.

  5. 高质量的视图引擎.

  6. 可观灵活可扩张的框架, 扶助自定义视图引擎, 辅助插件,
    帮忙自定义路由等等.

  7. 内建多样路由, 能够匹配如今广大的各类路由协议.

  8. 无敌而又中度灵活的配备文件支持. 并帮助缓存配置文件,
    防止复杂的布置结构带来的性能损失.

  9. 在框架本人,对高危的操作习惯做了禁止.

  10. 更快的施行进度, 更少的内部存款和储蓄器占用.

https://github.com/laruence/yaf


小米:XiaoMi https://github.com/XiaoMi

图片 5

style=”color: #00ccff; font-size: 14pt;”>1.分布式的发布和监督系统
Minos

Minos
是索尼爱立信集团付出的一个分布式的公布和监察和控制种类。最初是中兴开发的用来在
Hadoop 和 ZooKeeper 集群上揭穿和保管的工具。Minos
可轻松增加来支撑任何的连串,近期已经帮助包蕴 HDFS、YA中华VN 和 Impala 。

https://github.com/XiaoMi/minos

 

style=”color: #ed0727; font-size: 14pt;”>2.互连网公司级监督系统
OpenFalcon

Open-Falcon 是华为运行部开源的一款网络集团级监督检查连串缓解方案.

监察系统是总体运营环节,乃至整个产品生命周期中最重庆大学的一环,事前马上预先警告发现故障,事后提供翔实的多寡用于追查定位难点。监控种类作为二个早熟的运行产品,产业界有那多少个开源的贯彻可供接纳。当公司刚好运营,业务规模较小,运转团队也刚好确立的初期,选用一款开源的监督检查系列,是1个省时省力,功效最高的方案。之后,随着业务范围的频频连忙增进,监控的靶子也更为多,越来越复杂,监察和控制系统的施用对象也从初期少数的多少个SRE,扩展为越来越多的DEVS,SRE。那时候,监察和控制系统的体积和用户的“使用作用”成了极致非凡的题材。

监察系统产业界有过多顶级的开源监察和控制类别。大家在初期,平素在用zabbix,然而随着业务的便捷上扬,以及互连网商行有意的有的必要,现有的开源的监察体系在品质、扩大性、和用户的选取频率方面,已经不可能支撑了。

为此,大家在过去的一年里,从互连网公司的局地急需出发,从各位SRE、SA、DEVS的施用经验和上报出发,结合产业界的一部分大的网络商家做监察和控制,用监督的一对思维出发,设计开发了一加的监督检查种类:Open-Falcon。

Highlights and features

  • 多少收集免布局:agent自发现、援助Plugin、主动推送格局
  • 体量水平扩展:生产条件每秒50万次数据搜集、告警、存款和储蓄、绘图,可不断水平扩张。
  • 报告警方策略自发现:Web界面、帮助政策模板、模板继承和覆盖、各样报告警方格局、扶助回调动作。
  • 报警设置人性化:援救最大告警次数、告警级别设置、告警苏醒通告、告警暂停、不一致时段不一样阈值、扶助保证周期,援救告警合并。
  • 野史数据飞速查询:秒级重回上百个目的一年的历史数据。
  • Dashboard人性化:多维度的数码体现,用户自定义Dashboard等效果。
  • 架构划设想计高可用:整个种类无主旨单点,易运转,易安顿。

https://github.com/XiaoMi/open-falcon

 

3.物联网框架
IoT.js

IoT.js 意在为物联网提供叁个基于 Web 技术的可交互操作的服务平台。IoT.js
的目的是要在财富受限的配备上卓绝运转,例如唯有几 KB 的
RAM。所以它帮忙广大的物联。

https://github.com/Samsung/iotjs


豆瓣 DouBan https://github.com/douban

图片 6

 

1.分布式计算框架
DPark

DPark 是 斯Parker 的 Python
克隆,是八个Python达成的分布式总结框架,能够充足便利地达成广泛数据处理和迭代划算。
DPark 由豆瓣完结,方今豆瓣内部的绝超过八分之四多少解析都选取DPark
达成,正日趋完善。

https://github.com/douban/dpark

 

style=”color: #00ccff;”>2.iOS/Mac 音频播放器
DOU奥迪oStreamer

DOU奥迪oStreamer 是 iOS 和 Mac 的基于核心音频的流媒体音频播放器。

https://github.com/douban/DOUAudioStreamer

 

3.CODE
豆类代码托管连串

Douban CODE 是豆瓣开发的一个依照 git 版本控制系统的通力同盟平台。

CODE —— C: Community O: Original D: Developer E: Eldamar

眼下 CODE 仅开放了三个框架,帮忙:

  • clone & push project

  • create project

  • create user

准备条件

  • MySQL

  • Memcached

  • Python >= 2.7

  • pip >= 1.4.1

  • virtualenv

  • git

https://github.com/douban/code

 


网易
NetEase
 https://github.com/netease

 图片 7

style=”font-size: 14pt; color: #ed0727;”>1.分布式TCP压力测试工具
tcpcopy

tcpcopy是一种选择请求复制(基于tcp的packets)工具,其应用领域较广,近来曾经应用于国内各大互连网商户。

一体化说来,tcpcopy主要有如下效果:

1)分布式压力测试工具,利用在线数据,能够测试系统能够经受的压力大小(远比ab压力测试工具真实地多),也能够提前意识一些bug
2)普通上线测试,能够窥见新种类是或不是稳定,提前意识上线进程中会出现的许多题材,让开发者有信心上线
3)相比试验,同样请求,针对不相同或不一样版本程序,能够做性能相比等试验
4)利用四种手法,构造无限在线压力,满意中型小型网站压力测试须要
5)实战演练(架构师必备)

https://github.com/session-replay-tools/tcpcopy

 

style=”color: #ff0000; font-size: 14pt;”>2.桌面利用软件的跨平台消除方案
heX

heX
是腾讯网有道搜索部门开发的3个同意你使用前端技术(HTML,CSS,JavaScript)开发桌面应用软件的跨平台化解方案,基于HTML5
+ node.js,类似appjs。是您付出桌面应用的一种新的抉择,意在消除古板桌面应用开发中繁琐的UI和互相开发工作,使其变的简短而急迅。尤其契合重UI,重交互的桌面应用软件。

https://github.com/netease-youdao/hex

https://github.com/netease-youdao/hex-samples

 

3.Android品质测试工具
艾玛gee

艾玛gee是监督钦定被测应用在行使进度中占据机器的CPU、内部存款和储蓄器、流量能源的习性测试小工具。

支撑SDK:Android2.2以及上述版本

埃玛gee成效介绍

① 、检查和测试当前时间被测应用占用的CPU使用率以及完整CPU使用量

② 、检查和测试当前光阴被测应用占用的内部存款和储蓄器量,以及占用的总体内部存款和储蓄器百分比,剩余内部存款和储蓄器量

叁 、检查和测试选用从起步上马到当前天子费用的流量数

④ 、测试数据写入到CSV文件中,同时储存在手提式有线电话机中

⑤ 、能够采用开启浮窗成效,浮窗中实时展现被测应用占用质量数据新闻

⑥ 、在浮窗中能够相当慢运行大概关闭手提式有线电话机的wifi网络

https://github.com/NetEase/Emmagee

 

style=”font-size: 14pt; color: #00ccff;”>4.基于udp的乞请复制工具
udpcopy

udpcopy用来消除udp应用的2个开源软件,与tcpcopy同属于xcopy种类,能够导入udp流量到测试系统中去,那样就足以有效地对系统举行种种测试,比如压力测试,冒烟测试等等。

https://github.com/wangbin579/udpcopy

 

style=”font-size: 14pt;”>5.实时编辑刷新的前端服务器 Puer style=”font-size: 18px; color: #000000;”>( style=”color: #ff6600;”>推荐: style=”color: #ff6600;”>browser-sync  style=”font-size: 15px;”>https://github.com/BrowserSync/browser-sync

简容易单,Puer是一个足以实时编辑刷新的前端服务器。天性一览:

  • 提供1个当下或钦命路线的静态服务器

  • 不无浏览器的实时刷新:编辑css实时更新(update)页面样式,别的文件则重载(reload)页面

  • 提供不难熟习的mock请求的配备效应,并且安插也是自动更新。

  • 可用作代理服务器,调试开发既有服务器的页面,可与mock作用合作使用

  • 合并了weinre,并提供二维码地址,方便移动端的调节和测试

  • 能够看作connect中间件使用(前提是后端为nodejs,不然请使用代理形式)

https://github.com/leeluolee/puer

————————–Alibaba开源的好软件太多,请自行采纳所需,我列多少个我们用的————————-

阿里Baba(Alibaba)阿里Baba(Alibaba)(Alibaba) https://github.com/alibaba/ https://github.com/thx

图片 8

style=”font-size: 14pt;”>1.分布式key/value存款和储蓄系统
Tair

Tair是由Tmall网自主开发的Key/Value结构数据存储系统,在天猫网有着广泛的施用。您在报到天猫商城、查看商品详情页面大概在淘江湖和好友“捣浆糊”的时候,都在一贯或直接地和Tair交互。Tair是3个Key/Value结构数据的解决方案,它暗许援助基于内部存储器和文件的三种存款和储蓄格局,分别和大家常见所说的缓存和持久化存款和储蓄对应。

Tair除了日常Key/Value系统提供的功力,比如get、put、delete以及批量接口外,还有一对外加的实用成效,使得其有更广的适用场景,包蕴:

  • Version支持

  • 原子计数器

  • Item支持

https://github.com/alibaba/tair

 

style=”font-size: 14pt; color: #ff0000;”>2.TFS 分布式文件系统

TFS(TaobaoFileSystem)是一个高可扩充、高可用、高品质、面向互连网服务的分布式文件系统,其安顿指标是永葆海量的非结构化数据。

近期,国内自主研究开发的文件系统可谓凤毛麟角。天猫在这一世界做了实惠的探索和执行,TaobaoFile
System(TFS)作为天猫内部选取的分布式文件系统,针对海量小文件的轻易读写访问品质做了特种优化,承载着天猫主站全部图片、商品描述等数据存款和储蓄。

https://github.com/alibaba/tfs

 

3.音讯中间件
罗克etMQ

style=”font-size: 14pt; color: #ff0000;”>图片 9

https://github.com/alibaba/RocketMQ

https://github.com/alibaba/RocketMQ-docs

 

style=”font-size: 14pt; color: #ff0000;”>4.分布式计算类别 JStorm

 Jstorm是参考storm的实时代风尚式总结框架,在网络IO、线程模型、能源调度、可用性及平安上做了持续革新,已被越来越多商行应用

https://github.com/alibaba/jstorm

 

5.淘宝Web服务器
Tengine

Tengine是由天猫商城网发起的Web服务器项目。它在Nginx的根基上,针对大访问量网站的须求,添加了广大尖端作用和特色。Tengine的脾气和酒泉久安已经在大型的网站如天猫网,天猫商城超级市场等收获了很好的检验。它的最终指标是创立三个飞速、稳定、安全、易用的Web平台。

 

以下沿引项目主页上的特色介绍:

 

  • 接二连三Nginx-1.2.8的保有个性,百分百卓越Nginx的布署;

  • 动态模块加载(DSO)帮衬。插手3个模块不再须要再行编写翻译整个Tengine;

  • 越多负载均衡算法协理。如会话保持,一致性hash等;

  • 输入过滤器机制援助。通过运用这种体制Web应用防火墙的编纂更为便利;

  • 动态脚本语言Lua帮助。扩张成效很是飞速简明;

  • 支撑管道(pipe)和syslog(本地和远端)方式的日志以及日志抽样;

  • 结合多少个CSS、JavaScript文件的走访请求变成2个请求;

  • 能够对后端的服务器实行主动健检,依照服务器状态自动上线下线;

  • 自动依据CPU数目设置进程个数和绑定CPU亲缘性;

  • 监督检查类别的负载和财富占用从而对系统进行保证;

  • 显示对启摄人心魄士更温馨的失误消息,便于定位出错机器;

  • 更强大的防攻击(访问速度限制)模块;

  • 更有利于的命令行参数,如列出编写翻译的模块列表、帮助的一声令下等;

  • 可以根据访问文件类型设置过期时间;

https://github.com/alibaba/tengine

  

6.SeaJS
模块加载框架

Sea.JS
是贰个依据 CommonJS 规范的模块加载框架,可用来轻松快乐地加载任意
JavaScript 模块。SeaJS 补助的行业内部模块坚守 Modules/Wrappings 规范的
define 方式,可运营于 Web 浏览器以及 node.JS 等条件中。

https://github.com/seajs/seajs

 

style=”font-size: 14pt; color: #00ccff;”>7.阿里Baba(Alibaba)分布式数据库同步系统
otter

otter
基于数据库增量日志解析,准实时1头到本机房或异地机房的mysql/oracle数据库.
一个分布式数据库同步系统。

https://github.com/alibaba/otter

 

8.Taobao Open API
客户端 TOP
(有Net版)

TOP 是 Taobao Open API 客户端。

APIs

User

  • taobao.user.buyer.get 查询买家消息API

  • taobao.user.get 获取单个用户音讯

  • taobao.user.seller.get 查询专营商用户新闻

  • taobao.users.get 获取多少个用户音讯

Category (Working)

  • taobao.itemcats.authorize.get 查询商行被授权品牌列表和类目列表

  • taobao.itemcats.get 获取后台供专营商公布商品的正规商品类目

  • taobao.itemcats.increment.get 增量获取后台类目数据

  • taobao.itemprops.get 获取标准商品类目属性

  • taobao.itempropvalues.get 获取标准类目属性值

  • taobao.topats.itemcats.get 全量获取后台类目数据

Shop

  • taobao.shop.get (白名单用户才能调用)

style=”color: #00ccff;”>9.模拟数据生成器 Mock.js

Mock.js
是一款仿照数据生成器,目的在于帮忙前端攻城师独立于后端进行支付,协理理编辑写单元测试。提供了以下模拟成效:

  • 根据数量模板生成模拟数据

  • 宪章 Ajax 请求,生成并重临模拟数据

  • 根据 HTML 模板生成模拟数据

https://github.com/nuysoft/Mock

 

style=”font-size: 14pt;”>10.劳务框架 Dubbo

Dubbo
是阿里Baba(Alibaba)公司开源的3个高品质突出的劳动框架,使得应用可经过高质量的
KoleosPC 完结服务的输出和输入效率,能够和 Spring框架无缝集成。

重中之重庆大学旨部件:

  • Remoting: 互联网通讯框架,达成了 sync-over-async 和
    request-response 音讯机制.

  • RPC: 三个长距离进度调用的虚幻,扶助负载均衡、容灾和集群效益

  • Registry: 服务索引框架用于服务的挂号和劳务事件发布和订阅

https://github.com/alibaba/dubbo

 

11.接口文书档案管理工科具
RAP

 

RAP通过GUI工具援救WEB工程师更高速的管理接口文书档案,同时通过分析接口结构自动生成Mock数据、校验真实接口的不利,使接口文书档案成为费用流程中的强依赖。有了结构化的API数据,RAP能够做的越多,而笔者辈得以幸免越多重复劳动。

 

https://github.com/thx/RAP

 

Nginx7天入门:https://github.com/taobao/nginx-book

 


其他类别:

style=”color: #ff6600;”>1.去哪儿:

style=”color: #00ccff;”>MySQL自动化运营工具
Inception

MySQL语句的甄别,在产业界都曾经基本被承认了,实际上也是对MySQL语句写法的统一化,标准化,而以前的人工核查,针对业内这么些标题莫过于是很
吃力的,标准更加多,DBA越累,开发也越累。
那么在那几个都追求自动化运行的一代,审核也必须求跟上步履,由此英斯ption诞生了。而英斯ption能够做的干活远不止是叁个自动化审核工
具,同时还兼具实施,生成对影响多少的回滚语句(类似闪回的功能),那样一条龙服务的工具,将会给DBA的办事带动颠覆的更动,DBA从此就从繁重的
审核、登上去执行,出错了很难回滚(假若提前没有备份的话)的被动局面解放了出去,突然意识,做DBA原来可以这么轻松,工作能够不饱和了,那就有愈来愈多的
自由时间学习、进一步向自动化运转平台的贯彻等更智能化的来头去发展,是兼具里程碑意义的。

https://github.com/mysql-inception/inception

style=”color: #ff6600; font-size: 14pt;”>2.民众点评

实时应用监察和控制平台
CAT

CAT 由群众点评开发的,基于 Java
的实时应用监察和控制平台,包蕴实时应用监察和控制,业务监察和控制。

CAT 帮衬的监察信息类型蕴含:

  • Transaction 适合记录跨越系统边界的次序访问行为,比如远程调用,数据库调用,也适合施行时间较长的事情逻辑监控,Transaction用来记录一段代码的实施时间和次数。

  • Event 用来记录一件事时有产生的次数,比如记录系统拾贰分,它和transaction比较缺乏了岁月的总括,成本比transaction要小。

  • Heartbeat   表示程序钦赐期爆发的计算消息, 如CPU%, MEM%,
    连接池状态, 系统负荷等。

  • Metric 用于记录业务目的、目标或许含有对3个指标记录次数、记录平均值、记录总和,业务目标最低总结粒度为1分钟。

  • Trace 用于记录基本的trace信息,类似于log4j的info消息,那么些消息仅用于查看一些连锁音讯

消息树

CAT监察和控制系列将每一趟U凯雷德L、Service的请求内部推市价况都打包为3个完全的音讯树、音讯树或者包蕴Transaction、伊芙nt、Heartbeat、Metric和Trace音信。

https://github.com/dianping/cat

 

style=”font-size: 14pt;”>3.搜狐:

Redis云管理平台
CacheCloud

CacheCloud提供2个Redis云管理平台:完成多样类型(Redis
Standalone
Redis SentinelRedis
Cluster
)自动安排、消除Redis实例碎片化现象、提供全面总结、监察和控制、运营效率、收缩开发人士的运行开支和误操作,提升机器的利用率,提供灵活的伸缩性,提供方便的连通客户端。

https://github.com/sohutv/cachecloud

根据MySQL 的数据库中间件 SOHU-DBProxy

SOHU-DBProxy 是由 乐乎数据库团队开发爱惜的一个依照MySQL协议的数码中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.3版本的功底上,
修改了大量bug,添加了广大功能特色。今后早就在sohu的五个业务线上行使

DBProxy 主要功效:

1 便是在同二个连连(只要不在同1个事情中)也能三番五次复用

2 负载均衡进步读质量,支持动态扩张

3
动态增进的SQL审核和过滤。能够总计的SQL长日子运作影响属性,并且阻止其运作

4 用户连接限制

5 自动摘除宕机的DB

6 读写分离(当前版本没有,代码和测试已经完毕,没有统一到当下版本)

https://github.com/SOHUDBA/SOHU-DBProxy

 

style=”font-size: 18px;”>58https://github.com/58code

style=”font-size: 18px;”>公众点评https://github.com/dianping

style=”font-size: 18px;”>豌豆荚https://github.com/wandoulabs

style=”font-size: 18px;”>华为https://github.com/HuaweiBigData

 

相关文章