spark版本2.1.1 mongo版本3.6.11 使用spark的api读取mongo有NoSuchMethod等此类错误。
val spark = SparkSession.builder()
.master("local")
.appName("MongoSparkConnectorIntro")
.config("spark.mongodb.input.uri", "mongodb://192.168.13.23:31308/ifaas_data.tenancy0_collection_car_smallImage")
.getOrCreate()
import com.mongodb.spark.config._
val customRdd = MongoSpark.load(spark)
customRdd.show()
解决方案:
增加用户名和密码
val spark = SparkSession.builder() .master("local") .appName("MongoSparkConnectorIntro") .config("spark.mongodb.input.uri", "mongodb://ifaas_data:introcks1234@192.168.13.23:31308/ifaas_data.tenancy0_collection_car_smallImage") .getOrCreate()