Skip to content

Instantly share code, notes, and snippets.

View saptarshiguha's full-sized avatar

Saptarshi Guha saptarshiguha

30 followers · 2 following
View GitHub Profile
@saptarshiguha
saptarshiguha / css_classes.py
Created March 9, 2017 21:43
################################################################################
## PySpark Invocation
## submit code using /usr/lib/spark/bin/spark-submit review.py
################################################################################
import os,sys
os.environ['PYSPARK_PYTHON'] = sys.executable
print([os.environ.get('PYSPARK_PYTHON','missing'),os.environ.get('PYSPARK_DRIVER_PYTHON','missing')])
import pyspark
import py4j
from pyspark import SparkContext
@saptarshiguha
saptarshiguha / css_classes.py
Created March 9, 2017 21:30
################################################################################
## PySpark Invocation
## submit code using /usr/lib/spark/bin/spark-submit review.py
################################################################################
import os,sys
os.environ['PYSPARK_PYTHON'] = sys.executable
print([os.environ.get('PYSPARK_PYTHON','missing'),os.environ.get('PYSPARK_DRIVER_PYTHON','missing')])
import pyspark
import py4j
from pyspark import SparkContext
@saptarshiguha
saptarshiguha / css_classes.py
Created March 9, 2017 21:25
################################################################################
## PySpark Invocation
## submit code using /usr/lib/spark/bin/spark-submit review.py
################################################################################
import os,sys
os.environ['PYSPARK_PYTHON'] = sys.executable
print([os.environ['PYSPARK_PYTHON'],os.environ['PYSPARK_DRIVER_PYTHON']])
import pyspark
import py4j
from pyspark import SparkContext
@saptarshiguha
saptarshiguha / css_classes.py
Created March 9, 2017 21:19
################################################################################
## PySpark Invocation
## submit code using /usr/lib/spark/bin/spark-submit review.py
################################################################################
import os,sys
os.environ['PYSPARK_PYTHON'] = sys.executable
import pyspark
import py4j
from pyspark import SparkContext
@saptarshiguha
saptarshiguha / untitled<2>.py
Created March 9, 2017 21:16
################################################################################
## PySpark Invocation
## submit code using /usr/lib/spark/bin/spark-submit review.py
################################################################################
import os
os.environ['PYSPARK_PYTHON'] = sys.executable
import pyspark
import py4j
from pyspark import SparkContext
@saptarshiguha
saptarshiguha / gist:d5287c3c2a1c18f2b12ef63240dcc139
Created March 8, 2017 16:58 — forked from chrissnell/gist:2ee0a820b7ba7c25a12d1b253d1aaf48
1 pound red kidney beans 1 link of Hillshire Farms smoked sausage (like polish
style) 1 celery stalk 1 yellow onion 1-2 bay leaves Ground cayenne pepper Brown
rice or long-grain white rice Crystal brand hot sauce
This is my pressure cooker adaptation of my mother-in-law's recipe.
Rinse 1 pound of red kidney beans, then cover with 3-4" of water and soak
overnight. The next morning, dump the water and rinse them thoroughly.
Chop one medium-sized yellow onion and one celery stalk.
@saptarshiguha
saptarshiguha / a.py
Created February 10, 2017 15:59
################################################################################
## PySpark Invocation
## submit code using /usr/lib/spark/bin/spark-submit review.py
################################################################################
import pyspark
import py4j
from pyspark import SparkContext
from pyspark.sql import SQLContext
sc = pyspark.SparkContext()
sqlContext = SQLContext(sc)
@saptarshiguha
saptarshiguha / gist:c1a7a32b5770a4d6bdc08b5d41db2442
Created February 9, 2017 19:55
################################################################################
## PySpark Invocation
## submit code using /usr/lib/spark/bin/spark-submit review.py
################################################################################
import pyspark
import py4j
from pyspark import SparkContext
from pyspark.sql import SQLContext
sc = pyspark.SparkContext()
sqlContext = SQLContext(sc)
@saptarshiguha
saptarshiguha / f.py
Created February 8, 2017 22:40
################################################################################
## PySpark Invocation
## submit code using /usr/lib/spark/bin/spark-submit review.py
################################################################################
import pyspark
import py4j
from pyspark import SparkContext
from pyspark.sql import SQLContext
sc = pyspark.SparkContext()
sqlContext = SQLContext(sc)
@saptarshiguha
saptarshiguha / c.py
Created February 8, 2017 19:35
################################################################################
## PySpark Invocation
## submit code using /usr/lib/spark/bin/spark-submit review.py
################################################################################
import pyspark
import py4j
from pyspark import SparkContext
from pyspark.sql import SQLContext
sc = pyspark.SparkContext()
sqlContext = SQLContext(sc)