인생을 최고로 여행하라

spark를 사용하면서 sql에서 편리하게 사용하던 DATEDIFF를 사용하려고 하다가 차이점이 있어서 정리하는 글입니다. SQL에서는 날짜, 연도, 시간등을 파라미터로 입력받아서 종류 별로 차이를 구할수 있지만 spark에서는 파라미터를 받지 못하며 기본적으로 day로만 DATEDIFF를 사용할 수 있습니다. --SQL Server DATEDIFF ( datepart , startdate , enddate ) --Spark DATEDIFF ( enddate , startdate ) https://stackoverflow.com/questions/52527571/datediff-in-spark-sql DATEDIFF in SPARK SQl I am new to Spark SQL. We are migrat..

간단한 내용이지만 막상 하려고 하니 조금 시간이 걸려서 정리해둡니다. import csv import json csvfile = open('file.csv', 'r') jsonfile = open('file.json', 'w') fieldnames = ("FirstName","LastName","IDNumber","Message") reader = csv.DictReader( csvfile, fieldnames) for row in reader: json.dump(row, jsonfile) jsonfile.write('\n') https://stackoverflow.com/questions/19697846/how-to-convert-csv-file-to-multiline-json How to conver..

df = spark.read.json("test.json") df.toPandas()

파이썬으로 url 다운로드를 받을 때 다음과 같은 에러 메시지가 나오는 경우가 있다. urllib.error.URLError: 특히, 머신러닝 test코드나 download코드의 경우 발생할 수있는 에러인데 해결 방법은 간단하다. 나의 경우 mac을 사용하고 있는데, 응용프로그램 -> python3.7 -> Install Certificates.command 더블 클릭 실행 이렇게 진행하면 터미널 창에서 자동으로 설치를 한다. 그 이후 동일한 코드를 실행하면 에러없이 잘 작동하는 것을 확인할 수 있다.

논문 읽다가 성능 척도가 헷갈려서 작성. 이 글을 주로 참고했습니다. FLOPs: Abbreviation for floating point operations (s table plural), meaning floating-point operands, understood as the amount of calculation. Can be used to measure the complexity of the algorithm/model.