Xử lý dữ liệu trên Shell
Susan Sun
Data Person
Thư viện chuẩn Python bao gồm:
Các gói khoa học dữ liệu như scikit-learn và statsmodel:
pip, trình quản lý gói chuẩn của Python, bằng dòng lệnhTài liệu:
pip -h
Usage:
pip <command> [options]
Commands:
install Install packages.
uninstall Uninstall packages.
freeze Output installed packages in requirements format.
list List installed packages.
Tài liệu:
pip --version
pip 19.1.1 from /usr/local/lib/python3.5/dist-packages/pip (python 3.5)
python --version
Python 3.5.2
Nếu pip cảnh báo cần nâng cấp:
WARNING: You are using pip version 19.1.1, however version 19.2.1 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.
Nâng cấp pip bằng chính nó:
pip install --upgrade pip
Collecting pip
|################################| 1.4MB 10.7MB/s
Successfully installed pip-19.2.1
pip list: hiển thị các gói Python trong môi trường hiện tại
pip list
Package Version
- - - - - - - - - - - -
agate 1.6.1
agate-dbf 0.2.1
agate-excel 0.2.3
agate-sql 0.5.4
Babel 2.7.0
pip install cài gói chỉ định và mọi phụ thuộc khác
pip install scikit-learn
Collecting scikit-learn
Downloading https://files.pythonhosted.org/packages/1f/af/e3c3cd6f61093830059138624dbd26d938d6da1caeec5aeabe772b916069/scikit_learn-0.21.3-cp35-cp35m-manylinux1_x86_64.whl (6.6MB)
|################################| 6.6MB 32.5MB/s
Collecting scipy>=0.17.0 (from scikit-learn)
Downloading https://files.pythonhosted.org/packages/14/49/8f13fa215e10a7ab0731cc95b0e9bb66cf83c6a98260b154cfbd0b55fb19/scipy-1.3.0-cp35-cp35m-manylinux1_x86_64.whl (25.1MB)
|################################| 25.1MB 35.5MB/s
...
Mặc định, pip install luôn cài phiên bản mới nhất của thư viện.
pip install scikit-learn
Successfully built sklearn
Installing collected packages: joblib, scipy, scikit-learn, sklearn
Successfully installed joblib-0.13.2 scikit-learn-0.21.3 scipy-1.3.0 sklearn-0.0
Để cài một phiên bản cụ thể (hoặc cũ hơn) của thư viện:
pip install scikit-learn==0.19.2
Collecting scikit-learn==0.19.2
Downloading https://files.pythonhosted.org/packages/b6/e2/a1e254a4a4598588d4fe88b45ab88a226c289ecfd0f6c90474eb6a9ea6b3/scikit_learn-0.19.2-cp35-cp35m-manylinux1_x86_64.whl (4.9MB)
|################################| 4.9MB 15.6MB/s
Installing collected packages: scikit-learn
Successfully installed scikit-learn-0.19.2
Nâng cấp gói Scikit-Learn bằng pip:
pip install --upgrade scikit-learn
Collecting scikit-learn
Downloading https://files.pythonhosted.org/packages/1f/af/e3c3cd6f61093830059138624dbd26d938d6da1caeec5aeabe772b916069/scikit_learn-0.21.3-cp35-cp35m-manylinux1_x86_64.whl (6.6MB)
|################################| 6.6MB 41.5MB/s
Requirement already satisfied, skipping upgrade: numpy>=1.11.0 in /usr/local/lib/python3.5/dist-packages (from scikit-learn) (1.16.4)
Collecting scipy>=0.17.0 (from scikit-learn)
Installing collected packages: scipy, joblib, scikit-learn
Successfully installed joblib-0.13.2 scikit-learn-0.21.3 scipy-1.3.0
Để pip install nhiều gói, ngăn cách tên gói bằng dấu cách:
pip install scikit-learn statsmodels
Nâng cấp nhiều gói:
pip install --upgrade scikit-learn statsmodels
Tệp requirements.txt chứa danh sách gói cần cài:
cat requirements.txt
scikit-learn
statsmodel
Hầu hết lập trình viên Python đưa requirements.txt vào kho Github của họ.
-r cho phép pip install cài gói từ tệp soạn sẵn:
-r, --requirement <file>
Install from the given requirements file. This option can be used multiple times.
Trong ví dụ của chúng ta:
pip install -r requirements.txt
tương đương với
pip install scikit-learn statsmodel
Xử lý dữ liệu trên Shell