最近在學PySpark，發現有幾個有意思的點。

ScalaSpark→JavaSpark→PySpark

Python如何獲取外部傳參

在Java、Scala中，可執行文件代碼都會有一個main方法

def main(args: Array[String]): Unit = {
	val input = args(0)
	val output = args(1)
}


public static void main(String[] args) {
	String input = args[0];
	String output = args[1];
}

在python中就有點不一樣了：

import sys

if __name__ == '__main__':
    input_path = sys.argv[1]
    output = sys.argv[2]

由于python運行代碼的特殊性，sys.argv[0]這個參數固定為python文件的名稱，所以在處理傳參的時候，要注意這一點。

pySpark在進行輸出時，默認輸出路徑不能存在。