Lua笔记(5)——C API头文件简介

搭建Lua环境时,安装程序会把以下5个头文件拷贝到指定目录(默认为/usr/local/include/):

-rw-r--r--.  1 root root 14825 Jun  3 09:03 lua.h
-rw-r--r--.  1 root root 20581 May 20 13:39 luaconf.h
-rw-r--r--.  1 root root  8433 Oct 29  2014 lauxlib.h
-rw-r--r--.  1 root root  1173 Feb  6  2014 lualib.h
-rw-r--r--.  1 root root   191 Dec 22  2004 lua.hpp

先从最简单的lua.hpp来看:

// lua.hpp
// Lua header files for C++
// <<extern "C">> not supplied automatically because Lua also compiles as C++

extern "C" {
#include "lua.h"
#include "lualib.h"
#include "lauxlib.h"
}

可以看到lua.hpp只是包含了其它的几个头文件,供C++程序使用。

lua.h定义了Lua提供的最基本的功能:创建Lua环境,调用Lua函数,在Lua环境中读写全局变量等。lua.h定义的所有成员(包括函数,宏等)都是用lua_LUA_作为前缀。

lauxlib.h定义了Lua辅助库(auxiliary library)提供的的函数,这个文件里定义的成员都是以luaL_作为前缀。Lua辅助库在lua.h定义的基础API之上,又封装了一层API,以提供更好的通用性。Lua辅助库并不会访问Lua的内部,所有操作都是通过lua.h的基础API去操作。

luaconf.h会定义Lua环境的配置信息。

lualib.h定义了Lua语言标准库的名字,以及打开这些库的函数。

Lua笔记(4)——C API综述

Lua是一门嵌入式语言(embedded language),这就意味着Lua并不是一个独立(stand-alone)的包(package),而是一个可以供其它想使用Lua功能的程序链接的库(library)。实际上,Lua解释器程序lua(可执行文件)就是利用Lua库实现的一个小程序:读入文件或字符串,丢给Lua库去做处理。

Lua可以作为一个单独的库供其它程序使用以扩展其功能,因此可以被称之为“extension language”。同时,使用Lua的程序亦可以向Lua环境注册新的函数,这些函数用C(或其它语言)编写,提供一些不能由Lua直接实现的功能,所以Lua又是一门“extensible language”。

Lua作为extension language时,C代码作为控制,Lua作为库;而作为“extensible language”时,正好反过来,Lua代码作为控制,C作为库。CLua之间的接口称之为C API,它是一组供C访问Lua的函数。

C代码和Lua程序之间通过一个虚拟的栈(stack)来进行通信。几乎所有的C API调用都会访问栈上的数值,并且所有的C代码和Lua程序之间的数据交换都通过这个栈。另外,栈也可以用来保存一些临时数据。栈帮忙解决LuaC之间两个很重要的“impedance mismatch”问题:
a)Lua具有内存垃圾(garbage)回收机制,而C需要显示地释放;
b)Lua是动态类型(dynamic typing),而C是静态类型(static typing)。

Lua笔记(3)——table浅析

TableLua中一种重要的数据结构,可以将其视为关联数组(associate array),除了nil以外,数字,字符串,Lua语言中的其它值均可成为数组的keyLua也使用table来代表包(package)和对象(object)。比如io.read就可以理解为“io”模块的read函数。

TableLua中既不是“值(value)”,也不是“变量(variable)”,而是对象(object)——一个动态分配的对象。Table都是匿名的,程序只能通过“引用(reference)”(或称之为“指针”)来操作它。当程序中所有指向某个table的引用都无效后,Lua的垃圾回收程序会回收这个table的内存。程序没有办法声明(declare)一个table,而只能通过构造表达式(constructor expression)来创建一个table,就像这样:

a = {}

同全局变量一样,没初始化的table元素的值为空:

> a = {}
> print(a["x"])
nil

同样,把table元素的值设为nil就会删除这个元素。这并不是个巧合,其实在Lua中,全局变量就是存在一个table里。

使用table时,要注意table["name"]table.nametable[name]三者的区别。其中table["name"]table.name是一样的,tablekey都是"name"这个字符串。而table[name]key则是name变量的值。参考下面这个例子:

> name = "a"
> table["name"] = 10
> table[name] = 20
> print(table["name"])
10
> print(table.name)
10
> print(table[name])
20
> print(table["a"])
20

使用整数作为key,就可以让table变成通常意义上的数组(array)或列表(list)。需要额外注意的是,在 Lua中,使用1(不是0)来索引数组第一个元素,这个一定要注意!!

如果一个列表中间没有“洞”,即nil元素,则称之为序列(sequence),对于序列,可以使用长度运算符#获得序列的长度:

> a = {}
> a[1] = 10
> a[2] = 20
> print(#a)
2

Lua笔记(2)

Lua程序的源代码可以从官网下载,直接make就好。如果遇到“fatal error: readline/readline.h: No such file or directory”的编译错误,请参考这篇文章

如果想自己使用gdb研究代码,可以把src/Makefile中的CFLAGS一行修改如下:

CFLAGS= -g -Wall -Wextra -DLUA_COMPAT_5_2 $(SYSCFLAGS) $(MYCFLAGS)

源码编译完完会生成两个可执行文件:lualuaclua就是语言的解释器,而luac则是编译器,它会把lua程序转换成字节码。

当在命令行执行lua命令时:

[root@Fedora lua-5.3.1]# lua
Lua 5.3.1  Copyright (C) 1994-2015 Lua.org, PUC-Rio
>

在另一个窗口使用pstack命令查看lua进程:

[root@Fedora lua-5.3.1]# pstack 3368
#0  0x00007f8039c2a2d0 in __read_nocancel () from /lib64/libc.so.6
#1  0x00007f8039f2489d in rl_getc () from /lib64/libreadline.so.6
#2  0x00007f8039f25197 in rl_read_key () from /lib64/libreadline.so.6
#3  0x00007f8039f0ec6c in readline_internal_char () from /lib64/libreadline.so.6
#4  0x00007f8039f0f3e5 in readline () from /lib64/libreadline.so.6
#5  0x000000000040460f in pushline (L=0x233e018, firstline=1) at lua.c:310
#6  0x00000000004048b3 in loadline (L=0x233e018) at lua.c:377
#7  0x0000000000404a54 in doREPL (L=0x233e018) at lua.c:411
#8  0x00000000004051a6 in pmain (L=0x233e018) at lua.c:588
#9  0x000000000040a848 in luaD_precall (L=0x233e018, func=0x233e700, nresults=1) at ldo.c:337
#10 0x000000000040acec in luaD_call (L=0x233e018, func=0x233e700, nResults=1, allowyield=0) at ldo.c:421
#11 0x00000000004075cb in f_call (L=0x233e018, ud=0x7ffc9fae64e0) at lapi.c:919
#12 0x0000000000409ec5 in luaD_rawrunprotected (L=0x233e018, f=0x407594 <f_call>, ud=0x7ffc9fae64e0) at ldo.c:142
#13 0x000000000040b4a7 in luaD_pcall (L=0x233e018, func=0x407594 <f_call>, u=0x7ffc9fae64e0, old_top=16, ef=0) at ldo.c:644
#14 0x000000000040769a in lua_pcallk (L=0x233e018, nargs=2, nresults=1, errfunc=0, ctx=0, k=0x0) at lapi.c:945
#15 0x0000000000405273 in main (argc=1, argv=0x7ffc9fae6628) at lua.c:607

可以看到lua程序阻塞在doREPL函数,等待用户输入。

Go语言runtime.Gosched()函数浅析

Go语言runtime.Gosched()函数的官方文档如下:

func Gosched

    func Gosched()
Gosched yields the processor, allowing other goroutines to run. It does not suspend the current goroutine, so execution resumes automatically.

这个函数的作用是让当前goroutine让出CPU,好让其它的goroutine获得执行的机会。同时,当前的goroutine也会在未来的某个时间点继续运行。

请看下面这个例子(show.go):

package main

import (
    "fmt"
)

func showNumber (i int) {
    fmt.Println(i)
}

func main() {

    for i := 0; i < 10; i++ {
        go showNumber(i)
    }

    fmt.Println("Haha")
}

执行结果如下:

[root@Fedora goEx]# go build show.go
[root@Fedora goEx]# ./show
Haha

没有打印出数字,可以看到goroutine没有获得机会运行。

修改代码:在main函数中加上runtime.Gosched()

package main

import (
    "fmt"
    "runtime"
)

func showNumber (i int) {
    fmt.Println(i)
}

func main() {

    for i := 0; i < 10; i++ {
        go showNumber(i)
    }

    runtime.Gosched()
    fmt.Println("Haha")
}

编译运行:

[root@Fedora goEx]# go build show.go
[root@Fedora goEx]# ./show
0
1
2
3
4
5
6
7
8
9
Haha

可以看到goroutine获得了运行机会,打印出了数字。

参考资料:
(1)Gosched
(2)What exactly does runtime.Gosched do?

Go程序编译简介

Go语言安装包自带的编译器是gc。针对不同的硬件平台,Go分别提供了一组编译工具包:比如,6a6c6g6l就是针对X86-64平台(5*ARM8*X86)。此外gcc还有一个支持Go语言的前端:gccgo。因此如果gc不支持你当前的平台,可以尝试用gcc

go build命令默认会使用gc编译器。假设当前目录为goEx,在这个目录下创建hello.go

package main

import "fmt"

func main() {
        fmt.Println("Hello, world!")
}

在当前目录下执行go build命令:

[root@Fedora goEx]# ls
hello.go
[root@Fedora goEx]# go build
[root@Fedora goEx]# ls
goEx  hello.go
[root@Fedora goEx]# ./goEx
Hello, world!

可以看到生成的可执行文件名字为goEx,与目录名相同。

因为hello.gomain package,执行go build hello.go会生成名为hello的可执行文件:

[root@Fedora goEx]# go build hello.go
[root@Fedora goEx]# ls
hello  hello.go

也可以使用-o选项指定可执行文件名字:

[root@Fedora goEx]# go build -o a.out hello.go
[root@Fedora goEx]# ls
a.out  hello.go
[root@Fedora goEx]# ./a.out
Hello, world!

解决编译错误:“readline/readline.h: No such file or directory”

Fedora 22系统上编译Lua 5.3.1源代码时,遇到以下编译错误:

lua.c:80:31: fatal error: readline/readline.h: No such file or directory

解决办法是安装readline-devel package

[root@Fedora]# dnf install readline-devel

基于Debian平台,则使用如下命令:

sudo apt-get install libreadline-dev

参考资料:
‘readline/readline.h’ file not found

Lua笔记(1)

Lua有8种数据类型:nilbooleannumberstringfunctiontableuserdatathread

nil类型只有一个值:nilnil表示没有值,所有未定义的变量值都为nil。请看下面这个例子:

[root@Fedora ~]# lua
Lua 5.3.0  Copyright (C) 1994-2015 Lua.org, PUC-Rio
> a
nil

boolean有两个值:truefalse。在Lua中,只有nilfalse会被当成“假”,包括0在内的其它任何值都被当成“真”:

> not not nil
false
> not not false
false
> not not 0
true

 

Spark常见转换(transformation)运算简介

本文介绍的转换(transformation)运算适用于所有类型的RDD

Element-wise转换:

Spark中,最常用的的转换运算是map()filter()map()运算会对RDD中的每个元素进行函数运算,而filter()运算只会作用于RDD中符合过滤条件的元素,运算结果生成一个新的RDD。看下面这个例子:

spark_map_filter

需要注意的是map()运算的结果类型不一定要同输入类型一致。

有时需要从一个输入元素生成多个输出元素,这时可以使用flatMap()运算。同map()一样,flatMap()
也会对输入RDD中的每个元素进行运算,但运算结果是一个包含返回值的迭代器(iterator)。最终产生的RDD会包含所有迭代器中的元素。但要注意的是,这个RDD的元素数据类型并不是迭代器,而是迭代器所包含的元素的数据类型。flatMap()map()的区别可以用下图来理解

spark_flatmap_map

可以认为flat的含义就是“铲平”迭代器,把里面的元素“拿”出来,生成一个新的RDD

 

伪集合运算(Pseudo set operations):

RDD支持很多类似数学里的集合运算:取“交集”,“并集”等等。需要注意的是,进行运算的这些RDD必须具有相同的数据类型。下图展示了一些运算:

rdd_set_operation

两个RDD之间还可以进行笛卡尔积运算:

Catersian