Polars中的机器学习
在最近的时间里，我将探索在Polars中进行机器学习（ML）可以走到多远。
除了ML模型外，scikit-learn还提供了许多数据预处理功能。让我们看看在Polars中进行一些这样的预处理是否值得。
最小-最大缩放示例
简单示例：我们有一个包含100,000行和100列的数据框，并希望对每个列进行最小-最大缩放。
import polars as pl
import numpy as np
from sklearn.preprocessing import MinMaxScaler
N = 100000
df = pl.DataFrame(np.random.standard_normal((N,100)))
arr = df.to_numpy()
# Using sklearn
minMax = MinMaxScaler()
minMax.fit_transform(arr)
Time: 90 ms
# Using Polars
df.select(
(pl.all()-pl.all().min()) / (pl.all().max()-pl.all().min())
)
Time: 40 ms所以在这个比较中，Polars的速度是原来的两倍。
这只是使用Polars进行机器学习的开始！例如，我们可以创建一个类来用scikit-learn的API包装Polars代码。然后，在转换为numpy以用于机器学习模型之前，我们可以尽可能长时间地保持在快速且内存高效的Polars和ApacheArrow组合中。
