#Hugepages

## Hugepage的作用

1. 程序中用的都是虚拟地址，CPU需要把虚拟地址转换为物理地址. 

2. CPU将虚拟地址转换为物理地址需要进行两次查表(Tow-level translation), 先查页目录（Page Directory），再查页表（Page Table). 因此需要访问2次内存。

3. CPU为了增加转换速度，引入了TLB（Translation Lookaside Buffer）. TLB是在CPU上的Cache，访问速度远块于内存，但是只能存储有限的映射关系.

4. 为了提高TLB的命中率（TLB hit）, 引入Hugepage，通过提高内存页的大小，提高TLB hit.

5. 使用Hugepage，转换过程（page walk）只需一次查表过程，而且减少了页目录占用的内存空间.

## 设置Hugepage

Ubuntu 12.04 LTS

1. 打开/etc/sysctl.conf文件

```

sudo vim /etc/sysctl.conf

```

2. 把hugepage的数量配置写入/etc/sysctl.conf文件中

```

1. Python中的变量名是没有类型信息的，这样增加了python的灵活性。

a=[1,2,3]

a='Hello'

对象[1,2,3]是List类型的，对象'Hello'是String类型的，而变量a是没有类型的，变量a​仅仅是一个对象的引用（一个指针），既可以指向List类型对象，也可以指向String类型的对象。

​2. Python的参数传递既不是传值（pass-by-value），也不是传引用(pass-by-reference)，而是对象的引用（pass-by-object-reference），即传递的是一个对象的内存地址。 

def reassign(list): 

  list = [0, 1]

def append(list): 

将一个自定义的函数应用到Pandas的数据结构中可以使用map(), apply()或者applymap()，它们的区别在于应用的对象不同。

1. map() 是一个Series的函数，DataFrame结构中没有map()。map()将一个自定义函数应用于Series结构中的每个元素(elements)。

2. apply()和applymap()是DataFrame结构中的函数，Series中没有。它们的区别在于，apply()将一个函数作用于DataFrame中的每个行或者列，而applymap()是将函数做用于DataFrame中的所有元素(elements)。​

Pandas中的DataFrame数据既可以存储在SQL数据库中，也可以直接存储在CSV文件中。

数据库

1. dataframe.to_sql()函数将DataFrame数据存储到数据库中。

name :数据表的名称， string, Name of SQL table

con : 数据库的链接，SQLAlchemy engine or DBAPI2 connection (legacy mode)

if_exists : 如果SQL表已经存在的处理方式，{‘fail’, ‘replace’, ‘append’}, default ‘fail’

​  

DataFrame是Pandas的重要数据结构。DataFrame是一个有标签的2维异构数据结构。

dt = pandas.DataFrame(data, index=..., columns=...)​

dt.index 是行的标签(row labels)，获得有多少行可以用len(dt.index)

dt.columns是列的标签(column labels)​, 获得有多少列可以用len(dt.columns)

dt.values是一个2维的异构数组。

dt.T 是将2维数组进行转置，行标签和列标签互换。​

ns是nanosecond的缩写，表示1/10^9秒

us是microsecond的缩写，表示1/10^6秒， 1 us=1000 ns

下面是英文单词中常用的数量单位前缀，缩写和表示的数量级别：

yotta Y  10<sup>24</sup>

zetta Z  10<sup>21</sup>

exa E  10<sup>18</sup>

peta P  10<sup>15</sup>

tera 

Numpy

numpy中的重要数据结构是ndarray，即多维同构数组（homogeneous multi-dimensional array），其中每个维度叫做轴axis。

ndarray.size是数组中所有elements的数量。 

ndarray中，axis的数量也叫做rank，例如1维数组的rank是1， 2维数组的rank是2， ndim属性是数组中axis的数量，也就是rank值。

ndarray的shape属性是一个tuple，表示每个维度上数据的数量（size）。

Pandas

pandas中重要的数据结构是DataFrame, 即有标签的异构数组(labelled heterogeneous two-dimensional tabular data structure)，类似于数据库中的表格。

DataFrame也有shape属性，通过shape[0]和shape[1]可以读取行和列的数量。但是通过timeit测试，使用len(dataframe.index)比dataframe.shape[0]能更快的获得行数。