[HADOOP] SAS와의 Hadoop 연결

SAS와의 Hadoop 연결

sas를 Hive에 연결하기 위해 SAS / ACESS 9.3M2 인터페이스를 사용하고 싶습니다. 내 질문은 sas가 하이브 큐브를 sas 환경으로 가져오고 여기에서 쿼리하는지 여부  또는, 그것은보고의 목적으로 다시 하이브를 쳐서 MR을 실행하여보고 성능을 2-4 초 이상으로 떨어 뜨립니다.

하이브 테이블을 환경으로 가져 오는 경우 일반 SQL 큐브와 비교할 때 성능은 어떻습니까?

sas에 완전히 익숙하지 않습니다. 집계 된 데이터가 Hive 테이블에있는 2-4 초 안에 보고서를 생성하고 그 위에 큐브 차원을 만들었습니다.

감사...

해결법

1. ==============================

   1.SAS / ACCESS의 기능은 다음과 같습니다. -데이터를 읽고 데이터 소스에서 데이터를 쓰고 쓸 수있는 기능을 제공하고 데이터 유형 변환을 관리합니다. -데이터 스토어에 대한 메타 데이터를 제공합니다 (테이블, 필드, 데이터 유형 목록). -SAS 코드를 데이터 소스 특정 코드 (일반적으로 SQL 변형 등)로 (일부로) 변환하는 의미를 제공합니다. -데이터 소스 특정 코드를 작성하고 SAS에서 전송하여 데이터 소스에서 실행할 수있는 수단 제공

   SAS / ACCESS의 기능은 다음과 같습니다. -데이터를 읽고 데이터 소스에서 데이터를 쓰고 쓸 수있는 기능을 제공하고 데이터 유형 변환을 관리합니다. -데이터 스토어에 대한 메타 데이터를 제공합니다 (테이블, 필드, 데이터 유형 목록). -SAS 코드를 데이터 소스 특정 코드 (일반적으로 SQL 변형 등)로 (일부로) 변환하는 의미를 제공합니다. -데이터 소스 특정 코드를 작성하고 SAS에서 전송하여 데이터 소스에서 실행할 수있는 수단 제공

   나는 완전히 Hadoop :-)에 익숙하지 않기 때문에 SAS / Access to Hadoop (LIBNAME 문을 통해)이 Hadoop에서 관계형 데이터를 읽는 것으로 추측합니다. 문서는 JDBC를 언급하므로 데이터 액세스에 사용됩니다. SAS / Access가 Hadoop에서 큐브를 쿼리 할 수 ​​있을지 의심됩니다 (질문입니까?         - "저것을 통해 큐브 크기를 만들었습니다"-하둡에서 의미합니까?).

   일반적으로 SAS / Access는 데이터 소스에서 데이터 전송을 최소화하고 처리를 데이터 소스로 푸시하려고합니다.

   http://blog.cloudera.com/blog/2013/05/how-the-sas-and-cloudera-platforms-work-together에서 :

   SAS / ACCESS에서 하둡으로

   SAS / ACCESS는 기본적으로 SAS Hadoop에 저장된 데이터 세트에 액세스 할 수있는 기능을 제공합니다. SAS / Hadoop 액세스 :

   LIBNAME statements can be used to make Hive tables look like SAS data sets on top of which SAS Procedures and SAS DATA steps can interact.
   PROC SQL commands provide the ability to execute direct Hive SQL commands on Hadoop.
   PROC HADOOP provides the ability to directly submit MapReduce, Apache Pig, and HDFS commands from the SAS execution environment to your CDH cluster.
   

   SAS / ACCESS 인터페이스는 SAS 9.3M2 릴리스에서 사용 가능하며 CDH 4.01 이상뿐만 아니라 CDH 3U2도 지원합니다.

   PROC HADOOP에서 도움이 될 수도 있습니다. http://support.sas.com/documentation/cdl/en/proc/65145/HTML/default/viewer.htm#p1esotuxnkbuepn1w443ueufw8in.htm

from https://stackoverflow.com/questions/18358722/hadoop-connectivity-with-sas by cc-by-sa and MIT license