[HADOOP] Cognos BI 환경에서 Apache Hadoop 사용

Cognos BI 환경에서 Apache Hadoop 사용

Cognos BI의 작동 방식을 아직 완전히 이해하지 못했기 때문에 이는 멍청한 질문 일 수 있습니다. 또한 이것을 Stack Exchange에 헛되이 게시하려고 시도했습니다 (태그를 넣는 중에 오류가 발생했습니다).

내 질문은-Apache BI를보다 빠르게 작동시키기 위해 Apache Hadoop을 사용할 수 있습니까? 또는 Cognos가 Hadoop과 동일한 기능을 수행합니까 (MapReduce 기능)?

작업을 시작한 장소는 Sybase IQ (컨텐츠 저장소)에서 Cognos BI 제품군을 사용합니다. Apache Tomcat은 웹 서버입니다. 데이터 세트가 큰 경우 Cognos가 보고서를 생성하는 데 시간이 많이 걸립니다 (거의 죽는 경우가 있음).

따라서 Apache Hadoop은 Cognos와 Sybase 사이의 어딘가에 맞게 Cognos의 성능을 향상시킬 수 있습니까? 아니면이 경우 보고서 최적화가 유일한 방법입니까?

고마워.

해결법

1. ==============================

   1.플랫폼으로서의 Hadoop은 임시 쿼리 나 분석 보고서를 목표로하지 않습니다. Cognos는 IBM 제품입니다. 자체 통찰력 인 Hadoop 만 쿼리 할 수 ​​있으며이를 큰 통찰력이라고합니다. InfoSphere BigInsights BigInsight에서 Cognos는 Hive를 사용하여 쿼리를 발행하며,이 결과로 결국 MapReduce로 변환됩니다. Sybase IQ를 사용하고 있다고 말합니다 (이것은 컨텐츠 저장소가 아니며 쿼리가 실행되는보고 DB입니다). Sybase IQ에 대해 잘 모르지만, 컬럼 형 DB 인 Vertica와 많은 작업을하고 있습니다. 좋은 성능을 얻으려면 가능한 모든 것을 조정해야합니다.

   플랫폼으로서의 Hadoop은 임시 쿼리 나 분석 보고서를 목표로하지 않습니다. Cognos는 IBM 제품입니다. 자체 통찰력 인 Hadoop 만 쿼리 할 수 ​​있으며이를 큰 통찰력이라고합니다. InfoSphere BigInsights BigInsight에서 Cognos는 Hive를 사용하여 쿼리를 발행하며,이 결과로 결국 MapReduce로 변환됩니다. Sybase IQ를 사용하고 있다고 말합니다 (이것은 컨텐츠 저장소가 아니며 쿼리가 실행되는보고 DB입니다). Sybase IQ에 대해 잘 모르지만, 컬럼 형 DB 인 Vertica와 많은 작업을하고 있습니다. 좋은 성능을 얻으려면 가능한 모든 것을 조정해야합니다.

2. ==============================

   2.간단히 말해 Hadoop은 대규모 데이터 세트를 조작하기위한 분산 플랫폼입니다. 다운 타임이 비즈니스 프로세스에 영향을 줄 수있는 조직에 매력을주는 내결함성이 기본 제공됩니다. Cognos는 사용자가 데이터를 탐색하고보고 할 수있는 비즈니스 인텔리전스 도구입니다. 따라서 논리적으로 맞는 것처럼 보입니다.

   간단히 말해 Hadoop은 대규모 데이터 세트를 조작하기위한 분산 플랫폼입니다. 다운 타임이 비즈니스 프로세스에 영향을 줄 수있는 조직에 매력을주는 내결함성이 기본 제공됩니다. Cognos는 사용자가 데이터를 탐색하고보고 할 수있는 비즈니스 인텔리전스 도구입니다. 따라서 논리적으로 맞는 것처럼 보입니다.

   그러나 하둡은 다른 포스터에서 언급 한 것처럼 임시 쿼리에는 적합하지 않습니다. 바로 그 약속을 지키는 하둡 프로젝트가 있습니다-Hive. 개발자는 Hive 데이터베이스에 액세스하기 위해 ODBC 커넥터를 출시했습니다 (HadoQ 데이터의 데이터웨어 하우스보기이며 HiveQL이라는 SQL과 같은 언어를 사용하여 쿼리 할 수 ​​있음). Cognos는 ODBC 데이터베이스에서 데이터를 추출 할 수 있으므로 Cognos가 Hive를 통해 Hadoop에서 데이터를 추출 할 수 있습니다.

   Cognos 환경에서 Hadoop을 사용하는 다른 방법은 CSV와 같은 텍스트 파일을 사용하여 데이터를 전송하는 것입니다. Hadoop은 데이터 파일을 생성 한 다음 Cognos로 가져올 수 있습니다. 이것이 내가 현재 사용하는 접근법입니다.

   그러나 Hadoop 사용의 "이유"에 대답하지 않았습니다. 내가 Hadoop을 사용한 두 가지 응용 프로그램은 재고 예측 및 현금 흐름 / 예산입니다. 수십만 개의 SKU에 대한 일상적인 예측을 수행하려는 경우 Hadoop은 훌륭한 도구입니다. 수천 개의 예산 항목에 대해 Monte Carlo 시뮬레이션을 수행하려는 경우 Hadoop은 훌륭합니다. 데이터웨어 하우스에서 데이터를 가져오고 Hadoop 작업을 실행 한 다음 결과 CSV 파일을 Cognos로 가져 오기만하면됩니다. 짜잔!

   하둡은 만병 통치약이 아닙니다. 때로는 구식 SQL과 프로그래밍 언어를 선택하는 것이 좋습니다. 하둡에는 학습 곡선과 리소스 요구 사항이 있습니다. Hortonworks 샌드 박스를 다운로드하여 배웠습니다. VMware, VirtualBox 등에서 실행되는 사전 구성된 가상 머신입니다. 따라서 아무것도 설치하거나 구성 할 필요가 없습니다!

from https://stackoverflow.com/questions/16505213/using-apache-hadoop-in-a-cognos-bi-environment by cc-by-sa and MIT license