JMS简单入门 有更新!

JMS是java的消息服务,JMS的客户端之间可以通过JMS服务进行异步的消息传输。JMS即Java消息服务(Java Message Service)应用程序接口,是一个[Java平台]中关于面向[消息中间件]的用于在两个应用程序之间,或…

By/Atlas/日期:2017-10-20 14:57:57/ 0 评论/664 浏览 阅读全文 »
JVM核心之类加载机制 有更新!

指的是把Class文件加载到内存,进行数据校验,转换,解析,初始化,最终形成能够被JVM直接使用的数据类型的过程,这就是JVM的类加载机制…

By/Atlas/日期:2017-10-24 10:13:43/ 0 评论/625 浏览 阅读全文 »
Spark高级调优之shuffle调优

大多数Spark作业的性能主要就是消耗在了shuffle环节,因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此,如果要让作业的性能更上一层楼,就有必要对shuffle过程进行调优。

By/Atlas/日期:2017-11-24 17:44:05/ 0 评论/653 浏览 阅读全文 »
Spark基础调优之资源调优

在开发完Spark作业之后,就该为作业配置合适的资源了。Spark的资源参数,基本都可以在spark-submit命令中作为参数设置,合理的参数设置才能保真程序的高效运行

By/Atlas/日期:2017-11-24 17:43:25/ 0 评论/486 浏览 阅读全文 »
Spark2.x集群搭建与参数详解(on Standalone) 有更新!

在前面的Spark发展历程和基本概念中介绍了Spark的一些基本概念,熟悉了这些基本概念对于集群的搭建是很有必要的。我们可以了解到每个参数配置的作用是什么。这里将详细介绍Spark集群搭建以及xml参数配置。Spark的集群搭建同样分为分布式与伪分布式伪分布式主要是单独使用作为测试,对于后面可能使用的作业运行大部分都在本地测试。

By/Atlas/日期:2017-07-17 18:21:52/ 0 评论/630 浏览 阅读全文 »