vm 검색 결과

해당 글 3건

3. Embulk를 이용하여 Google BigQuery에 데이터 넣기

이번 포스팅에서는 Embulk를 사용하여 GCP의 BigQuery에 데이터를 넣어보는 테스트를 해보겠다.Bigquery에 대한 자세한 내용은 여기를 참고하기 바란다. MySQL -> BigQuery 데이터 넣기 저번 포스팅에서 말했던 것처럼, Embulk는 관련 Plug-in을 설치하고 yml파일만 설정하면 된다. 관련 Plug-in 설치 $ embulk gem install embulk-input-mysql # MySQL에서 데이터를 읽기 위한 플러그인 $ embulk gem install embulk-output-bigquery # BigQuery에 데이터를 넣기 위한 플러그인# MySQL에서 데이터를 읽기 위해 input, BigQuery에 데이터를 넣기위해 output을 각각 설치해준다. Embu..
Embulk/Embulk 실습 2017. 10. 11. 11:34

2. Embulk를 이용하여 Cloud SQL(MySQL)에 데이터 넣기

이번 포스팅에서는 Embulk를 사용하여 GCP의 Cloud SQL(MySQL)에 데이터를 넣어보는 테스트를 해보겠다. MySQL관련 Plug-in 설치아래는 MySQL관련 플러그인 설치 커맨드이다.$ embulk gem install embulk-input-mysql $ embulk gem install embulk-output-mysql # input은 데이터를 받아올 곳, output은 데이터를 넣을 곳 이라고 이해하면 된다. ex) MySQL에서 꺼내서 Bigquery에 넣고싶다면 input-mysql, output-bigquery 이제, Embulk에서 제공해주는 example 데이터로 (csv파일) Cloud SQL에 넣어보자. Embulk Example (CSV -> MySQL) Embulk..
Embulk/Embulk 실습 2017. 10. 10. 14:32

1. Embulk 설치 - Embulk란?

빅데이터 분석에 있어서, 아키텍처적으로 중요한 모듈중의 하나는 여러 서버로부터 생성되는 데이터를 어떻게 모을것인가이다.이를 편하게 해주는 Embulk라는 좋은 솔루션이 있다. Embulk 소개 Embulk는 Sqoop과 거의 같은 기능을 하는 솔루션으로 여러 데이터 소스로 읽어와서 부어주는 기능을 하는 솔루션이다. Embulk 특징1. 플러그인 형태로 여러 데이터 소스를 이용할 수 있다. (BigQuery, Oracle, MySQL, PostgreSQL, CSV, JSON…)2. 병렬로 로딩이 가능하다.3. 스키마를 예측해서 해당 스키마가 없으면 알아서 만들어 준다. 테스트 환경 이 글에서는 Google Cloud Platform의 (이하 GCP) VM과 Cloud SQL을 이용하여 테스트를 진행한다. ..
Embulk/Embulk 소개 및 설치 2017. 10. 10. 11:02