标签归档:scala

RSS feed of scala

[Spark] MySQL 踩坑记录

scala代码实现连接mysql

首先在 sbt 配置文件里添加:

"mysql" % "mysql-connector-java" % "8.0.12",

踩到的坑

1

使用 JDBC 访问特定数据库时,需要在 spark classpath 上添加对应的 JDBC 驱动配置。

--driver-class-path lib/mysql-connector-java-8.0.12.jar

不然代码在本地 sbt run 运行是没有问题, 但是放在服务器上用 spark-submit 提交的话,可能会报异常:

com.mysql.jdbc.Driver

2

运行项目中提示:

The new driver class is `com.mysql.cj.jdbc.Driver'. The driver is automatically registered via the SPI and manual loading of the driver class is generally unnecessary.

'com.mysql.jdbc.Driver' 驱动类被弃用了,新的驱动类是 'com.mysql.cj.jdbc.Driver'。 这个驱动会通过 SPI 的方式自动加载,通常不需要人工手动加载。

val pool = MysqlConnectionPool(dbHost, dbUser, dbPasswd,  "com.mysql.cj.jdbc.Driver") 

本文链接:/2018/08/14/spark-mysql/
请尊重作者的劳动成果,转载请注明出处!Sakishum 博客保留对文章的所有权利。