数据分析:是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来,总结出所研究对象的内在规律
数据分析的三剑客 : Numpy ,Pandas ,Matplotlib
一.Numpy
Numpy(Mumerical python)是python语言的一个扩展程序库,支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。
1.创建ndarray
使用np.array()创建
一维数据创建
import numpy as npnp.array([1,2,3,4,5])
二维数组创建
import numpy as npnp.array([[1,2,3],['a','b',1.1]])
注意:
numpy默认ndarray的所有元素的类型是相同的
如果传进来的列表中包含不同的类型,则统一为同一类型,优先级:str>float>int
操作该numpy数据,该操作会同步到图片中
import matplotlib.pyplot as pltimg_arr = plt.imread('./bobo.jpg')plt.imshow(img_arr)
plt.imshow(img_arr - 66)
2.使用np的routines函数创建
np.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None) 等差数列
np.linspace(1,100,num=50)
np.arange([start, ]stop, [step, ]dtype=None)
np.arange(1,100,2)
np.random.randint(low, high=None, size=None, dtype='l')
np.random.seed(10)arr = np.random.randint(0,100,size=(5,6))
np.random.random(size=None) 生成0到1的随机数,左闭右开 np.random.seed(3)
np.random.random(size=(3,3))
二.ndarray的属性
参数: ndim-->维度 shape --> 形状(各种维度的长度) size --> 总长度 dtype-->元素类型
img_arr.shapeimg_arr.ndimimg_arr.sizeimg_arr.dtypetype(img_arr)
三.ndarray的基本操作
1.索引
一维与列表完全一致 多维时同理
np.random.seed(10)arr = np.random.randint(0,100,size=(5,6))arr
根据索引修改数据
arr[[1,2]]
2.切片
一维与列表完全一致 多维时同理
np.random.seed(10)arr = np.random.randint(0,100,size=(5,6))arr
获取二维数组前两行
arr[0:2]
获取二维数组前两列
arr[:,0:2]
获取二维数组前两行和前两列
arr[0:2,0:2]
将数据反转, :: 进行切片
将数组的行倒序
#将数组的行倒序arr[::-1]#列倒序arr[:,::-1]#全部倒序arr[::-1,::-1]
将图片进行全部倒置操作
plt.imshow(img_arr)plt.imshow(img_arr[:,::-1,:])plt.imshow(img_arr[::-1,::-1,::-1])
3.变形
使用arr.reshape()函数,注意参数是一个tuple
基本使用
将一维数组变形成多维数组
arr_1.reshape((-1,15))
将多维数组变形成一维数组
arr_1 = arr.reshape((30,))
4.级联
np.concatenate()
一维,二维,多维数组的级联,实际操作中级联多二维数组
np.concatenate((arr,arr),axis=1)
arr1 = np.random.randint(0,100,size=(5,5))np.concatenate((arr,arr1),axis=1)
合并两张照片
img_3 = np.concatenate((img_arr,img_arr,img_arr),axis=1)imgs = np.concatenate((img_3,img_3,img_3),axis=0)plt.imshow(imgs)
np.hstack与np.vstack
级联需要注意的点:
级联的参数是列表:一定要加中括号或小括号
维度必须相同
形状相符:在维度保持一致的前提下,如果进行横向(axis=1)级联,必须保证进行级联的数组行数保持一致。如果进行纵向(axis=0)级联,必须保证进行级联的数组列数保持一致。
可通过axis参数改变级联的方向
切割
plt.imshow(np.split(img_arr,[400],axis=0)[0])
四.ndarray的聚合操作
1.求和np.sum
#求和np.sumarr.sum(axis=0)#最大最小值:np.max/ np.minarr.max()#平均值:np.mean()arr.mean()
其他聚合操作
Function Name NaN-safe Version Descriptionnp.sum np.nansum Compute sum of elementsnp.prod np.nanprod Compute product of elementsnp.mean np.nanmean Compute mean of elementsnp.std np.nanstd Compute standard deviationnp.var np.nanvar Compute variancenp.min np.nanmin Find minimum valuenp.max np.nanmax Find maximum valuenp.argmin np.nanargmin Find index of minimum valuenp.argmax np.nanargmax Find index of maximum valuenp.median np.nanmedian Compute median of elementsnp.percentile np.nanpercentile Compute rank-based statistics of elementsnp.any N/A Evaluate whether any elements are truenp.all N/A Evaluate whether all elements are truenp.power 幂运算
五.ndarray的排序
1.快速排序
np.sort()与ndarray.sort()都可以,但有区别:
np.sort()不改变输入
ndarray.sort()本地处理,不占用空间,但改变输入
np.sort(arr,axis=0)