Pandas中的幾個加速方法，你了解多少?
Pandas 數(shù)據(jù)統(tǒng)計包的 6 種高效函數(shù)
Pandas 也是一個 Python 包，它提供了快速、靈活以及具有顯著表達能力的數(shù)據(jù)結(jié)構(gòu)， 旨在使處理結(jié)構(gòu)化 (表格化、多維、異構(gòu)) 和時間序列數(shù)據(jù)變得既簡單又直觀。
PANDAS
Pandas 適用于以下各類數(shù)據(jù):
●具有異構(gòu)類型列的表格數(shù)據(jù)，如 SQL 表或 Excel 表
●有序和無序 (不一定是固定頻率) 的時間序列數(shù)據(jù)
●帶有行/列標簽的任意矩陣數(shù)據(jù)(同構(gòu)類型或者是異構(gòu)類型)
●其他任意形式的統(tǒng)計數(shù)據(jù)集。事實上，數(shù)據(jù)根本不需要標記就可以放入 Pandas 結(jié)構(gòu)中
Pandas 擅長處理的類型如下所示：
●容易處理浮點數(shù)據(jù)和非浮點數(shù)據(jù)中的 缺失數(shù)據(jù)(用 NaN 表示)
●大小可調(diào)整性: 可以從 DataFrame 或者更高維度的對象中插入或者是刪除列
●顯式數(shù)據(jù)可自動對齊: 對象可以顯式地對齊至一組標簽內(nèi)，或者用戶可以簡單地選擇忽略標簽，使 Series、 DataFrame 等自動對齊數(shù)據(jù)
●靈活的分組功能，對數(shù)據(jù)集執(zhí)行拆分-應用-合并等操作，對數(shù)據(jù)進行聚合和轉(zhuǎn)換
●簡化將數(shù)據(jù)轉(zhuǎn)換為 DataFrame 對象的過程，而這些數(shù)據(jù)基本是 Python 和 NumPy 數(shù)據(jù)結(jié)構(gòu)中不規(guī)則、不同索引的數(shù)據(jù)
●基于標簽的智能切片、索引以及面向大型數(shù)據(jù)集的子設定
●更加直觀地合并以及連接數(shù)據(jù)集
●更加靈活地重塑、轉(zhuǎn)置(pivot)數(shù)據(jù)集
●軸的分級標記 (可能包含多個標記)
●具有魯棒性的 IO 工具，用于從平面文件 (CSV 和 delimited)、 Excel 文件、數(shù)據(jù)庫中加在數(shù)據(jù)，以及從 HDF5 格式中保存 / 加載數(shù)據(jù)
●時間序列的特定功能: 數(shù)據(jù)范圍的生成以及頻率轉(zhuǎn)換、移動窗口統(tǒng)計、數(shù)據(jù)移動和滯后等
read_csv(nrows=n)
大多數(shù)人都會犯的一個錯誤是，在不需要.csv 文件的情況下仍會完整地讀取它。如果一個未知的.csv 文件有 10GB，那么讀取整個.csv 文件將會非常不明智，不僅要占用大量內(nèi)存，還會花很多時間。我們需要做的只是從.csv 文件中導入幾行，之后根據(jù)需要繼續(xù)導入。
map()
map() 函數(shù)根據(jù)相應的輸入來映射 Series 的值。用于將一個 Series 中的每個值替換為另一個值，該值可能來自一個函數(shù)、也可能來自于一個 dict 或 Series。
apply()
apply() 允許用戶傳遞函數(shù)，并將其應用于 Pandas 序列中的每個值。
isin()
lsin () 用于過濾數(shù)據(jù)幀。Isin () 有助于選擇特定列中具有特定(或多個)值的行。
copy()
Copy () 函數(shù)用于復制 Pandas 對象。當一個數(shù)據(jù)幀分配給另一個數(shù)據(jù)幀時，如果對其中一個數(shù)據(jù)幀進行更改，另一個數(shù)據(jù)幀的值也將發(fā)生更改。為了防止這類問題，可以使用 copy () 函數(shù)。
select_dtypes()
select_dtypes() 的作用是，基于 dtypes 的列返回數(shù)據(jù)幀列的一個子集。這個函數(shù)的參數(shù)可設置為包含所有擁有特定數(shù)據(jù)類型的列，亦或者設置為排除具有特定數(shù)據(jù)類型的列。
最后，pivot_table() 也是 Pandas 中一個非常有用的函數(shù)。如果對 pivot_table() 在 excel 中的使用有所了解，那么就非常容易上手了。
京公網(wǎng)安備 11010802030320號