文章目录

• 源代码
• 数据预处理
• • 获取数据
  • 数据变换
• 数据清洗
• • 划分数据集
• 实现用户性别分类

源代码

源代码，在我电脑上可以成功运行，我也是改了好久

数据预处理

获取数据

hdfs dfs -mkdir /movie
hdfs dfs -put /opt/users.dat /movie
hdfs dfs -put /opt/ratings.dat /movie

数据变换

hadoop jar /opt/ratings_users.jar demo.RatingsAndUsers /movie/users.dat /movie/ratings.dat /movie/ratings_users

hdfs dfs -put /opt/movies.dat /movie
hadoop jar /opt/users_movies.jar demo01.UsersAndMovies /movie/movies.dat /movie/ratings_users/part-m-00000 /movie/users_movies

对每个用户看过的电影类型进行统计。

数据清洗

处理缺失值、异常值

划分数据集

训练数据集

测试数据集

验证数据集

实现用户性别分类

0[M]男
1[F]女
第一列是对测试数据的预测类别，第三列是测试数据的正确类别。

寻找最优k值