月份：2015年6月

Lua笔记（5）——C API头文件简介

搭建Lua环境时，安装程序会把以下5个头文件拷贝到指定目录（默认为/usr/local/include/）：

-rw-r--r--.  1 root root 14825 Jun  3 09:03 lua.h
-rw-r--r--.  1 root root 20581 May 20 13:39 luaconf.h
-rw-r--r--.  1 root root  8433 Oct 29  2014 lauxlib.h
-rw-r--r--.  1 root root  1173 Feb  6  2014 lualib.h
-rw-r--r--.  1 root root   191 Dec 22  2004 lua.hpp

先从最简单的lua.hpp来看：

// lua.hpp
// Lua header files for C++
// <<extern "C">> not supplied automatically because Lua also compiles as C++

extern "C" {
#include "lua.h"
#include "lualib.h"
#include "lauxlib.h"
}

可以看到lua.hpp只是包含了其它的几个头文件，供C++程序使用。

lua.h定义了Lua提供的最基本的功能：创建Lua环境，调用Lua函数，在Lua环境中读写全局变量等。lua.h定义的所有成员（包括函数，宏等）都是用lua_或LUA_作为前缀。

lauxlib.h定义了Lua辅助库（auxiliary library）提供的的函数，这个文件里定义的成员都是以luaL_作为前缀。Lua辅助库在lua.h定义的基础API之上，又封装了一层API，以提供更好的通用性。Lua辅助库并不会访问Lua的内部，所有操作都是通过lua.h的基础API去操作。

luaconf.h会定义Lua环境的配置信息。

lualib.h定义了Lua语言标准库的名字，以及打开这些库的函数。

Lua笔记（4）——C API综述

Lua是一门嵌入式语言（embedded language），这就意味着Lua并不是一个独立（stand-alone）的包（package），而是一个可以供其它想使用Lua功能的程序链接的库（library）。实际上，Lua解释器程序lua（可执行文件）就是利用Lua库实现的一个小程序：读入文件或字符串，丢给Lua库去做处理。

Lua可以作为一个单独的库供其它程序使用以扩展其功能，因此可以被称之为“extension language”。同时，使用Lua的程序亦可以向Lua环境注册新的函数，这些函数用C（或其它语言）编写，提供一些不能由Lua直接实现的功能，所以Lua又是一门“extensible language”。

Lua作为extension language时，C代码作为控制，Lua作为库；而作为“extensible language”时，正好反过来，Lua代码作为控制，C作为库。C和Lua之间的接口称之为C API，它是一组供C访问Lua的函数。

C代码和Lua程序之间通过一个虚拟的栈（stack）来进行通信。几乎所有的C API调用都会访问栈上的数值，并且所有的C代码和Lua程序之间的数据交换都通过这个栈。另外，栈也可以用来保存一些临时数据。栈帮忙解决Lua和C之间两个很重要的“impedance mismatch”问题：
a）Lua具有内存垃圾（garbage）回收机制，而C需要显示地释放；
b）Lua是动态类型（dynamic typing），而C是静态类型（static typing）。

Lua笔记（3）——table浅析

Table是Lua中一种重要的数据结构，可以将其视为关联数组（associate array），除了nil以外，数字，字符串，Lua语言中的其它值均可成为数组的key。Lua也使用table来代表包（package）和对象（object）。比如io.read就可以理解为“io”模块的read函数。

Table在Lua中既不是“值（value）”，也不是“变量（variable）”，而是对象（object）——一个动态分配的对象。Table都是匿名的，程序只能通过“引用（reference）”（或称之为“指针”）来操作它。当程序中所有指向某个table的引用都无效后，Lua的垃圾回收程序会回收这个table的内存。程序没有办法声明（declare）一个table，而只能通过构造表达式（constructor expression）来创建一个table，就像这样：

a = {}

同全局变量一样，没初始化的table元素的值为空：

> a = {}
> print(a["x"])
nil

同样，把table元素的值设为nil就会删除这个元素。这并不是个巧合，其实在Lua中，全局变量就是存在一个table里。

使用table时，要注意table["name"]，table.name和table[name]三者的区别。其中table["name"]和table.name是一样的，table的key都是"name"这个字符串。而table[name]的key则是name变量的值。参考下面这个例子：

> name = "a"
> table["name"] = 10
> table[name] = 20
> print(table["name"])
10
> print(table.name)
10
> print(table[name])
20
> print(table["a"])
20

使用整数作为key，就可以让table变成通常意义上的数组（array）或列表（list）。需要额外注意的是，在 Lua中，使用1（不是0）来索引数组第一个元素，这个一定要注意！！

如果一个列表中间没有“洞”，即nil元素，则称之为序列（sequence），对于序列，可以使用长度运算符#获得序列的长度：

> a = {}
> a[1] = 10
> a[2] = 20
> print(#a)
2

Lua笔记（2）

Lua程序的源代码可以从官网下载，直接make就好。如果遇到“fatal error: readline/readline.h: No such file or directory”的编译错误，请参考这篇文章。

如果想自己使用gdb研究代码，可以把src/Makefile中的CFLAGS一行修改如下：

CFLAGS= -g -Wall -Wextra -DLUA_COMPAT_5_2 $(SYSCFLAGS) $(MYCFLAGS)

源码编译完完会生成两个可执行文件：lua和luac。lua就是语言的解释器，而luac则是编译器，它会把lua程序转换成字节码。

当在命令行执行lua命令时：

[root@Fedora lua-5.3.1]# lua
Lua 5.3.1  Copyright (C) 1994-2015 Lua.org, PUC-Rio
>

在另一个窗口使用pstack命令查看lua进程：

[root@Fedora lua-5.3.1]# pstack 3368
#0  0x00007f8039c2a2d0 in __read_nocancel () from /lib64/libc.so.6
#1  0x00007f8039f2489d in rl_getc () from /lib64/libreadline.so.6
#2  0x00007f8039f25197 in rl_read_key () from /lib64/libreadline.so.6
#3  0x00007f8039f0ec6c in readline_internal_char () from /lib64/libreadline.so.6
#4  0x00007f8039f0f3e5 in readline () from /lib64/libreadline.so.6
#5  0x000000000040460f in pushline (L=0x233e018, firstline=1) at lua.c:310
#6  0x00000000004048b3 in loadline (L=0x233e018) at lua.c:377
#7  0x0000000000404a54 in doREPL (L=0x233e018) at lua.c:411
#8  0x00000000004051a6 in pmain (L=0x233e018) at lua.c:588
#9  0x000000000040a848 in luaD_precall (L=0x233e018, func=0x233e700, nresults=1) at ldo.c:337
#10 0x000000000040acec in luaD_call (L=0x233e018, func=0x233e700, nResults=1, allowyield=0) at ldo.c:421
#11 0x00000000004075cb in f_call (L=0x233e018, ud=0x7ffc9fae64e0) at lapi.c:919
#12 0x0000000000409ec5 in luaD_rawrunprotected (L=0x233e018, f=0x407594 <f_call>, ud=0x7ffc9fae64e0) at ldo.c:142
#13 0x000000000040b4a7 in luaD_pcall (L=0x233e018, func=0x407594 <f_call>, u=0x7ffc9fae64e0, old_top=16, ef=0) at ldo.c:644
#14 0x000000000040769a in lua_pcallk (L=0x233e018, nargs=2, nresults=1, errfunc=0, ctx=0, k=0x0) at lapi.c:945
#15 0x0000000000405273 in main (argc=1, argv=0x7ffc9fae6628) at lua.c:607

可以看到lua程序阻塞在doREPL函数，等待用户输入。

Go语言runtime.Gosched()函数浅析

Go语言runtime.Gosched()函数的官方文档如下：

func Gosched

    func Gosched()
Gosched yields the processor, allowing other goroutines to run. It does not suspend the current goroutine, so execution resumes automatically.

这个函数的作用是让当前goroutine让出CPU，好让其它的goroutine获得执行的机会。同时，当前的goroutine也会在未来的某个时间点继续运行。

请看下面这个例子（show.go）：

package main

import (
    "fmt"
)

func showNumber (i int) {
    fmt.Println(i)
}

func main() {

    for i := 0; i < 10; i++ {
        go showNumber(i)
    }

    fmt.Println("Haha")
}

执行结果如下：

[root@Fedora goEx]# go build show.go
[root@Fedora goEx]# ./show
Haha

没有打印出数字，可以看到goroutine没有获得机会运行。

修改代码：在main函数中加上runtime.Gosched()：

package main

import (
    "fmt"
    "runtime"
)

func showNumber (i int) {
    fmt.Println(i)
}

func main() {

    for i := 0; i < 10; i++ {
        go showNumber(i)
    }

    runtime.Gosched()
    fmt.Println("Haha")
}

编译运行：

[root@Fedora goEx]# go build show.go
[root@Fedora goEx]# ./show
0
1
2
3
4
5
6
7
8
9
Haha

可以看到goroutine获得了运行机会，打印出了数字。

参考资料：
（1）Gosched；
（2）What exactly does runtime.Gosched do?。

Go程序编译简介

Go语言安装包自带的编译器是gc。针对不同的硬件平台，Go分别提供了一组编译工具包：比如，6a，6c，6g和6l就是针对X86-64平台（5*是ARM，8*是X86）。此外gcc还有一个支持Go语言的前端：gccgo。因此如果gc不支持你当前的平台，可以尝试用gcc。

go build命令默认会使用gc编译器。假设当前目录为goEx，在这个目录下创建hello.go：

package main

import "fmt"

func main() {
        fmt.Println("Hello, world!")
}

在当前目录下执行go build命令：

[root@Fedora goEx]# ls
hello.go
[root@Fedora goEx]# go build
[root@Fedora goEx]# ls
goEx  hello.go
[root@Fedora goEx]# ./goEx
Hello, world!

可以看到生成的可执行文件名字为goEx，与目录名相同。

因为hello.go是main package，执行go build hello.go会生成名为hello的可执行文件：

[root@Fedora goEx]# go build hello.go
[root@Fedora goEx]# ls
hello  hello.go

也可以使用-o选项指定可执行文件名字：

[root@Fedora goEx]# go build -o a.out hello.go
[root@Fedora goEx]# ls
a.out  hello.go
[root@Fedora goEx]# ./a.out
Hello, world!

解决编译错误：“readline/readline.h: No such file or directory”

在Fedora 22系统上编译Lua 5.3.1源代码时，遇到以下编译错误:

lua.c:80:31: fatal error: readline/readline.h: No such file or directory

解决办法是安装readline-devel package：

[root@Fedora]# dnf install readline-devel

基于Debian平台，则使用如下命令：

sudo apt-get install libreadline-dev

参考资料：
‘readline/readline.h’ file not found。

Lua笔记（1）

Lua有8种数据类型：nil，boolean，number，string，function，table，userdata和thread。

nil类型只有一个值：nil。nil表示没有值，所有未定义的变量值都为nil。请看下面这个例子：

[root@Fedora ~]# lua
Lua 5.3.0  Copyright (C) 1994-2015 Lua.org, PUC-Rio
> a
nil

boolean有两个值：true和false。在Lua中，只有nil和false会被当成“假”，包括0在内的其它任何值都被当成“真”：

> not not nil
false
> not not false
false
> not not 0
true

 

Spark常见转换（transformation）运算简介

本文介绍的转换（transformation）运算适用于所有类型的RDD。

Element-wise转换：

在Spark中，最常用的的转换运算是map()和filter()。map()运算会对RDD中的每个元素进行函数运算，而filter()运算只会作用于RDD中符合过滤条件的元素，运算结果生成一个新的RDD。看下面这个例子：

spark_map_filter

需要注意的是map()运算的结果类型不一定要同输入类型一致。

有时需要从一个输入元素生成多个输出元素，这时可以使用flatMap()运算。同map()一样，flatMap()
也会对输入RDD中的每个元素进行运算，但运算结果是一个包含返回值的迭代器（iterator）。最终产生的RDD会包含所有迭代器中的元素。但要注意的是，这个RDD的元素数据类型并不是迭代器，而是迭代器所包含的元素的数据类型。flatMap()和map()的区别可以用下图来理解

spark_flatmap_map

可以认为flat的含义就是“铲平”迭代器，把里面的元素“拿”出来，生成一个新的RDD。

 

伪集合运算（Pseudo set operations）：

RDD支持很多类似数学里的集合运算：取“交集”，“并集”等等。需要注意的是，进行运算的这些RDD必须具有相同的数据类型。下图展示了一些运算：

rdd_set_operation

两个RDD之间还可以进行笛卡尔积运算：

Catersian