如果要处理的数据批量很大时，可以用HDF5来存储和读取，并且可以进行检索；

Frame=pd.DataFrame({‘a’:np.arange(100)})

Way1: 存储/读取

Store = pd.HDFStore(‘mydata.h5’)  #将frame数据存入store中

Store[‘obj1’]=frame #将store[‘obj1’]中存frame

Store[‘obj1_column’] =frame[‘a’] #将store[‘obj1_column’]存frame中的column ‘a’

>>>store  #可以获得store中所有信息的description

>>>store[‘obj1’] #提取出obj1中存储的frame

>>>store[‘obj1_column’] #提取frame column中的信息

HDFStore支持两种存储 format：{‘fixed’,’table’}：

Store.put(‘obj2’,frame,format=’table’) #将frame以table的形式存储在store[‘obj2’]中

Store.select(‘obj2’,where=[‘index >= 10 and index <= 15’]) #将store[‘obj2’]中符合index条件的数据提取出来，呈现在output；

Store.close() #关闭store；

Way2：第二种存储/读取方式

Frame.to_hdf(‘mydata.h5’,’obj3’,format=’table’) #将frame存储到mydata.h5中，存储形式为table；

Pd.read_hdf(‘mydata.h5’,’obj3’,where=[‘index < 5’]) #读取mydata.h5中index<5得数据到output；