Spark- JdbcRDD以及注意事项

 

先上Demo

复制代码
package com.rz..base

import java.sql.DriverManager

import org.apache..rdd.
import org.apache..{SparkConf, SparkContext}

object JdbcRDDDemo {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName(this.getClass.getSimpleName).setMaster("local[2]")
    val sc = new SparkContext(conf)

    val getConn=()=>{
      DriverManager.getConnection("jdbc:mysql://localhost:3306/bigdata?characterEncoding=utf-8","root","root")
    }

    // 创建RDD,这个RDD会记录以后从MySQL中读取数据
    val : [(Int, String, Int)] = new (sc,
      getConn,
      "select * from logs where id >= ? and id <= ?",
      1,
      5,
      2, //分区数量
      rs => {
        val id = rs.getInt(1)
        val name = rs.getString(2)
        val age = rs.getInt(3)
        (id, name, age) //将数据库查询出来的数据集转成想要的数据格式
      }
    )
    val rs = .collect()
    print(rs.toBuffer)
  }
}
复制代码

返回查询结果正确

现象

修改查询的SQL,返回的数据量不对。

"select * from logs where id >= ? and id < ?"

原因

在触发Action的时候,Task在每个分区上的业务逻辑是相同的(id >= ? and id < ?”),只是读取的数据和处理的数据不一样。RDD根据数据量和分区数据,均匀地分配每个分区Task读取数据的范围。

分区1读取[1,2)的数据,分区2读取[3,5)的数据。

使用相同的逻辑分区1丢掉了id=2的数据,这是为什么,id >= 1 and id < 5″只返回3条数据的原因,如果只有一个分区的时候能够读取到正确的数据量。

解决办法

为了避免出现丢数据,读取数据时,区间两端都包含。id >= 1 and id < =5。

 

 

人已赞赏
博客

Spark- 自定义排序

2019-8-18 18:29:16

博客

交换机防范欺骗攻击

2019-8-18 18:31:44

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
有新消息 消息中心
搜索