Spark

spark-shell 명령어 시 SparkException : Invalid Spark URL ~ heart 오류 시 해결법 spark Local 환경변수 추가 $ export SPARK_LOCAL_HOSTNAME=localhost

spark-shell 명령어 사용 시 요청한 주소를 배정할 수 없습니다 : spark Driver failed after 16 retries 해결하는 방법 conf 안 spark-env.sh 파일 안에 Local설정을 추가해준다. export SPARK_LOCAL_IP= 추가해 준 후 sbin으로 들어가 stop-master.sh, start-master.sh , start-worker.sh 순차적으로 실행

java를 사용하여 Mesos를 사용하여 처리할때 SparkSession 생성 방법 SparkSession spark = SparkSession.builder().appName("Spark") .master("mesos://zk://mesos링크:2181,mesos링크:2181,mesos링크:2181/mesos") .config("spark.mesos.executor.home", "/usr/local/spark") .config("spark.sql.shuffle.partitions", "300") .config("spark.executor.memory", "10g") .config("spark.network.timeout", "600s") .getOrCreate(); pom.xml org.apache.s..

java를 사용하여 Hadoop 에 있는 parquet 파일 읽고 쓰는 방법 SparkSession spark = SparkSession.builder().appName("Spark") .master("local") .config("spark.sql.shuffle.partitions", "300") .config("spark.executor.memory", "10g") .config("spark.network.timeout", "600s") .getOrCreate(); Dataset readFile = spark.read().parquet("hdfs://hdfs주소:9000/big/fwlog/*/*/*/*.parquet"); read, write 주소를 hadoop hdfs주소로 변경

원하는 버전 압축파일 다운로드 및 압축해제 환경변수 잡아주기 conf 폴더로 이동하여 spark-env.sh.temmpalte 복사 복사한 spark-env.sh 파일 수정 spark/sbin 폴더로 이동하여 start-master.sh start-worker.sh {master주소} master주소는 웹 UI에서 확인 {기본 - localhost:8080} 실행된 spark 웹 UI 에서 확인 $ sudo mv spark-3.4.1-bin-hadoop3 /opt/spark $ vim ~/.bashrc # Apache Spark export SPARK_HOME = /opt/spark export PATH = $PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin $ source ~/.bas..

pom.xml org.apache.spark spark-core_2.12 3.4.1 org.apache.spark spark-sql_2.12 3.4.1 spark 쿼리하는 applicaition 생성 시 pom.xml에 추가할 dependency 자바 버전별 , spark 버전별 사용하는 scala가 다르기 때문에 버전확인 필수

java로 Map List를 Dataset으로 변환하는 방법 public void writeListToParquet(List list,String year,String month,String date){ SparkSession spark = SparkSession.builder().appName("Spark") .config("spark.executer.memory","4g") .config("spark.driver.bindAddress","10.10.~.~") .master("local") .getOrCreate(); //틀 생성 - table create StructType schema = DataTypes.createStructType(new StructField[]{ DataTypes.create..

서버에서 스파크 버전 확인하는 방법 spark-submit --version 서버에서 스파크 상태 확인하는 방법 spark-shell

java로 SparkSession 사용하여 parquet파일 read, write 하는 방법 Read SparkSession spark = SparkSession.builder().appName("Spark") .config("spark.driver.bindAddress","10.10.~.~") .config("spark.sql.shuffle.partitions", "300") .config("spark.executor.memory", "10g") .config("spark.network.timeout", "600s") .master("spark://10.10.~.~:7077") .getOrCreate(); Dataset readFile = spark.read().parquet("/home/info/pr..