0
点赞
收藏
分享

微信扫一扫

Spark编程案例:针对每个分区进行数据库操作


需求:将有多个分区的 RDD 中的数据保存到数据库

ps:针对分区进行数据库操作的话,建议使用 foreachPartition 算子,每个分区创建一个 Connection,避免一个 Connection 被多个分区使用而造成的序列化的麻烦。

def saveToMySql(it:Iterator[(String, String)]) = {
  var conn:Connection = null
  var ps:PreparedStatement = null
  try {
    conn = DriverManager.getConnection("jdbc:mysql://qujianlei/spark", "root", "Welcome_1")
    ps = conn.prepareStatement("insert into result values(?, ?)")
    
    it.foreach(x=>{
      ps.setString(1, x._1)
      ps.setString(2, x._2)
      ps.executeUpdate()
    })
    
  } catch {
    case e1:Exception => println("Some Exception Happened! " + e1.getMessage)
  } finally {
    if (ps != null) ps.close
    if (conn != null) conn.close
  }
}

调用分区的:rdd.foreachPartition(saveToMySql)


举报

相关推荐

0 条评论