scala

restapi(7)- 谈谈函数式编程的思维模式和习惯
日志  国庆前,参与了一个c# .net 项目,真正重新体验了一把搬砖感觉:在一个多月时间好像不加任何思考,不断敲键盘加代码.我想,这也许是行业内大部分中小型公司程序猿的真实写照:都是坐在电脑前的搬砖工人 ...
1
spark spark应用(分布式估算圆周率+基于Spark MLlib的贷款风险预测)
日志注:本章不涉及spark和scala原理的探讨,详情见其他随笔 一.分布式估算圆周率计算原理:假设正方形的面积S等于x²,而正方形的内切圆的面积C等于Pi×(x/2)²,因此圆面积与正方形面积之比C/ ...
Scala之面向对象
日志1. Scala基础练习 不使用str.toLong,str.toInt/Integer.valueOf()/Long.valueOf/Integer.parseInt()等,将字符串"12 ...
Scala语言笔记 - 第三篇(容器方法篇)
日志Scala语言笔记 - 第三篇(容器方法篇) ​ 最近研究了下scala语言,这个语言最强大的就是它强大的函数式编程(Function Programming)能力,记录下最近学习的一些新的和技巧.注 ...
Scala语言笔记 - 第二篇
日志​ 最近研究了下scala语言,这个语言最强大的就是它强大的函数式编程(Function Programming)能力,记录下最近学习的一些新的和技巧.注意:本系列博客不会从头讲解该语言的语法,而是通 ...
Scala语言笔记 - 第一篇
日志Scala语言笔记 - 第一篇 ​ 最近研究了下scala语言,这个语言最强大的就是它强大的函数式编程(Function Programming)能力,记录下最近学习的一些新的和技巧.注意:本系列博客 ...
Spark源码系列:DataFrame repartition、coalesce 对比
日志在Spark开发中,有时为了更好的效率,特别是涉及到关联操作的时候,对数据进行重新分区操作可以提高程序运行效率(很多时候效率的提升远远高于重新分区的消耗,所以进行重新分区还是很有价值的).在Spark ...
Scala:类和对象
日志类.字段.方法 类是对象的蓝图,一旦定义了类,就可以用new关键字从蓝图创建对象. //给出下列定义 class Cat { } //你就能创建Cat对象 object Cat { val cat = ...
Spark开发环境搭建(IDEA、Scala、SVN、SBT)
日志软件版本 软件信息 软件名称 版本 下载地址 备注 Java 1.8 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-dow ...
Spark:DataFrame 写入文本文件
日志将DataFrame写成文件方法有很多最简单的将DataFrame转换成RDD,通过saveASTextFile进行保存但是这个方法存在一些局限性:1.将DataFrame转换成RDD或导致数据结构的 ...
scala spark(2.10)读取kafka(2.11_1.0.0)示例
日志1.pom加载jar包 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spa ...
Kafka笔记——技术点汇总
日志Table of contents · Overview     · Introduction     · Use cases · Manual Setup     · Assumption      ...
Spark Streaming笔记——技术点汇总
日志目录 · 概况 · 原理 · API     · DStream     · WordCount示例     · Input DStream     · Transformation Operatio ...
Spark SQL笔记——技术点汇总
日志目录 · 概述 · 原理     · 组成     · 执行流程     · 性能 · API     · 应用程序模板     · 通用读写方法     · RDD转为DataFrame     · ...
AKKA学习笔记
日志AKKA学习笔记总结 01. AKKA 1. 介绍: Akka基于Actor模型,提供了一个用于构建可扩展的(Scalable).弹性的(Resilient).快速响应的(Responsive)应用程 ...
scala学习笔记3:基本控制结构基础
日志以下主要记录的是看完scala in programming这本书buildin control structures(第七章)后的要点总结. 1,if,while,do while和for的用法和j ...
scala学习笔记2:面向对象编程部分基础
日志以下主要记录的是看完scala in programming这本书Functional Objects(第六章)后的要点总结. 1,程序中可变对象(var)和不可变对象(val)使用的权衡问题  不可 ...
Scala减少代码重复
日志高阶函数可以把其它函数当作函数参数,帮助我们减少代码重复,例如: object FileMatcher { private def fileHere = (new File(".\\file ...
scala学习笔记1: scala method
日志刚接触scala,做练习的时候碰到一个问题,顺便mark一下. 先看下面一段代码: def sum(args:Int*) = { var result = 0 for (arg <- args) ...
Week 1: Functions & Evaluations
日志Week 1: Functions & Evaluations /** * Exercise 1 */ def pascal(c: Int, r: Int): Int = { if (c &l ...