Chuẩn bị và trực quan hóa dữ liệu tăng dần

Phân tích dữ liệu IoT bằng Python

Matthias Voppichler

IT Developer

Chuẩn bị dữ liệu

Pivot dữ liệu
Lấy mẫu lại
Dùng diff()
Dùng pct_change()

Cấu trúc dữ liệu

print(data.head())

                timestamp device   value
0 2018-10-26 06:30:42.817   C331  6020.0
1 2018-10-26 06:30:43.083   M640   104.0
2 2018-10-26 06:31:00.858   M640   126.0
3 2018-10-26 06:31:10.254   C331  6068.0
4 2018-10-26 06:31:10.474   M640   136.0

Bảng tổng hợp (pivot)

Biểu đồ minh họa pivot-table

Áp dụng pivot table

                timestamp device   value
0 2018-10-26 06:30:42.817   C331  6020.0
1 2018-10-26 06:30:43.083   M640   104.0
2 2018-10-26 06:31:00.858   M640   126.0
3 2018-10-26 06:31:10.254   C331  6068.0
4 2018-10-26 06:31:10.474   M640   136.0

data = pd.pivot_table(data, columns="device", values="value", index="timestamp")
print(data.head()

device                     C331   M640
timestamp                             
2018-10-26 06:30:42.817  6020.0    NaN
2018-10-26 06:30:43.083     NaN  104.0
2018-10-26 06:31:00.858     NaN  126.0
2018-10-26 06:31:10.254  6068.0    NaN
2018-10-26 06:31:10.474     NaN  136.0

Lấy mẫu lại

# Lấy mẫu lại DataFrame theo 1 phút
df = data.resample("1min").max().dropna()
print(df.head())

device                 C331   M640
timestamp                         
2018-10-26 06:30:00  6020.0  104.0
2018-10-26 06:31:00  6129.0  180.0
2018-10-26 06:32:00  6205.0  256.0
2018-10-26 06:33:00  6336.0  332.0
2018-10-26 06:34:00  6431.0  402.0

Trực quan hóa dữ liệu

data.plot()
plt.show()

pd.diff()

# Hiệu
df_diff = data.diff(1)
df_diff.plot()
plt.show()

Phân tích dữ liệu - hiệu

# Hiệu
df_diff = data.diff()
df_diff.plot()
plt.show()

# Hiệu sau khi lấy mẫu lại
df = data.resample('30min').max()
df_diff = df.diff()
df_diff.plot()
plt.show()

Tỷ lệ thay đổi

df_pct = df_diff.pct_change()
df_pct.plot()

Ayo berlatih!

Phân tích dữ liệu IoT bằng Python