Google dataproc timezone, spark unix_timestamp timezone 문제
timezone 때문에 짜증나서 남겨놓는다.내가 현재 당면하고 있는 일은, 간단하게 말하자면 이렇다.google dataproc 에 cluster 작성 → cluster 에 spark job 을 보내서 존나 대용량 계산(흔히 말하는, 뭐 있어 보이는 빅데이터 처리 근데 사실 좆도 아닌게 함정) → 계산결과내가 처리하는 데이터는 전세계에서 온다. 독일에서도 오고, 일본에서도 오고, 아마도 미국에서도 올거고 ..
IT & Programming
2018.02.09 16:43