복붙노트

[HADOOP] 하이브를 asp.net 프로젝트에 연결하는 방법

HADOOP

하이브를 asp.net 프로젝트에 연결하는 방법

안녕하세요, 저는 Hadoop을 처음 사용합니다.

로컬 시스템에 Microsoft HDInsight를 설치했습니다. 이제 하이브 및 HBase에 연결하려고하지만 하이브 연결에 연결하려고합니다. 연결 문자열, 포트, 사용자 이름, 암호를 지정해야합니다.

그러나 나는이 값을 어떻게 얻을지 알 수 없다. localhost와 8085를 포트로 사용해 보았지만 작동하지 않습니다. 또한 localhost IP와 시스템 IP를 제공하여이 작업을 수행했습니다.

HBase 연결을 위해 어떻게해야하는지 알려주세요.

해결법

  1. ==============================

    1.가장 좋은 방법은 Microsoft의 Hive SDK (Microsoft.Hadoop.Hive로 nuget에서도 사용 가능)를 사용하는 것입니다.

    가장 좋은 방법은 Microsoft의 Hive SDK (Microsoft.Hadoop.Hive로 nuget에서도 사용 가능)를 사용하는 것입니다.

    Linq-to-Hive 쿼리를 연결하고 실행하는 방법에 대한 훌륭한 예제가 있습니다. http://hadoopsdk.codeplex.com/wikipage?title=Simple%20Linq%20To%20Hive%20Query&referringTitle=LINQ%20to%20Hive

    이것은 WebHcat API를 사용하여 하이브에 쿼리를 제출하고 Azure 클라우드의 HDInsights 클러스터에 대해 작동합니다 (따라서 결과를 다시 얻으려면 스토리지 키를 제공해야 함).

    로컬 복사본 만 사용하려는 경우 저장소 계정 자격 증명을 제외하기 위해 예제를 적용 할 수 있습니다.

    var db = new HiveConnection(
                webHCatUri: new Uri("http://localhost:50111"),
                userName: (string) "hadoop", password: (string) null);
    
    var result = db.ExecuteHiveQuery("select * from w3c");
    result.Wait();
    

    HDInsight Preview의 기본 설치와 비교하여 작동합니다.

  2. from https://stackoverflow.com/questions/18103612/how-to-connect-hive-to-asp-net-project by cc-by-sa and MIT license