博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
如何在运行pyspark时加载本地jar包?
阅读量:6578 次
发布时间:2019-06-24

本文共 590 字,大约阅读时间需要 1 分钟。

某内网项目需要测试spark和mongodb联调,因为不能连接外网,所以下载好了相应的jar包扔进去了。

5

官网给出的事例代码如下:

./bin/pyspark --conf "spark.mongodb.input.uri=mongodb://127.0.0.1/test.myCollection?readPreference=primaryPreferred" \              --conf "spark.mongodb.output.uri=mongodb://127.0.0.1/test.myCollection" \              --packages org.mongodb.spark:mongo-spark-connector_2.11:2.4.0

其中--packages参数后面指定的jar包会自动从maven包中心下载,对于无法连接互联网的机器,会提示错误。

其实,答案很简单,只需要在后面跟上--jars参数就好:

./pyspark --conf "spark.mongodb.input.uri=..."           --conf "spark.mongodb.output.uri=..."           --jars "/path/to/local/xxx.jar"

后面的路径建议使用绝对路径,以防手误。

转载地址:http://vqfno.baihongyu.com/

你可能感兴趣的文章
怎样快速学好PHP技术之PHP学习方法总结
查看>>
《Java工程师成神之路-基础篇》Java基础知识——序列化(已完结)
查看>>
iOS App间相互跳转漫谈 part2
查看>>
Java CAS 原理剖析
查看>>
ISCC2014 writeup
查看>>
Kotlin 知识梳理(1) Kotlin 基础
查看>>
js正则表达式
查看>>
iOS socket通信,编解码,浮点型数据解析
查看>>
手把手教你如何新建scrapy爬虫框架的第一个项目(下)
查看>>
前端基础15:JS作用域基础
查看>>
Linux系统相关命令
查看>>
BATJ面试必会之 Spring 篇(一)
查看>>
表驱动法
查看>>
什么是企业内训
查看>>
firefox无法显示java插件plugin
查看>>
H3C设备之OSPF DR选举
查看>>
View控件Edittext属性
查看>>
List grantee right in oracle
查看>>
骨牌铺方格 ——解题报告
查看>>
Activity生命周期
查看>>