[HADOOP] .NET과 동등한 Apache Hadoop이 있습니까? [닫은]

.NET과 동등한 Apache Hadoop이 있습니까? [닫은]

그래서 저는 하둡을 열심히 바라보고 있었고, 솔직히 말해서 나는 매력적이었습니다.

내 유일한 사소한 문제는 C # 개발자이고 Java에 있습니다.

Hadoop.net, NHadoop 또는 Google MapReduce 접근법을 채택한 .NET 프로젝트를 찾고있는만큼 자바를 이해하지 못합니다. 누구 하나 알고 있나요?

해결법

1. ==============================

   1.Hadoop의 스트리밍을 사용해 보셨습니까?

   Hadoop의 스트리밍을 사용해 보셨습니까?

   나는 파이썬에서 항상 이것을 사용한다 :-).

   이질적인 접근법이 종종 가장 좋으며 다른 사람들과 마찬가지로하는 것처럼 보입니다.

   프로토콜 버퍼 또는 페이스 북의 절약과 같은 프로젝트를 보면 다른 언어로 작성된 앱을 사용하고 선호하는 언어로 접착제를 빌드하는 것이 가장 좋은 경우가 있음을 알 수 있습니다.

2. ==============================

   2.http://research.microsoft.com/en-us/projects/dryadlinq/default.aspx 또는 http://msdn.microsoft.com/en-us/library/dd179423.aspx를 참조하십시오.

   http://research.microsoft.com/en-us/projects/dryadlinq/default.aspx 또는 http://msdn.microsoft.com/en-us/library/dd179423.aspx를 참조하십시오.

3. ==============================

   3.최근 MySpace는 .NET MapReduce 프레임 워크 인 Qizmt를 오픈 소스로 출시 했으므로이 공간에서 잠재적 인 경쟁자이기도합니다.

   최근 MySpace는 .NET MapReduce 프레임 워크 인 Qizmt를 오픈 소스로 출시 했으므로이 공간에서 잠재적 인 경쟁자이기도합니다.

4. ==============================

   4.내 질문에 여기에 대답했다.

   내 질문에 여기에 대답했다.

   근원에서 그것을 말하기 위하여 :

   마이크로 소프트는 대안 (Dryad)을 하둡 (Hadoop)에 찬성했다. 내년에는 Hadoop 통합으로 MS SQL Server 2012를 출시 할 예정입니다. Azure 및 Windows Sever 지원은 우리가 말하는 것처럼 개발 중입니다.

   2012 년 상반기에 제공 될 예정입니다.

   Hadoop은 # 1 Big Data 플랫폼이며 오픈 소스 및 독점적 소스 (Java, .Net, Python 등)가 지원할 예정입니다. 오라클도이를 채택하고 있습니다.

   만약 당신이 무언가를 개발했다면 .Net 플랫폼을 사용하고있을 때까지 기다려야합니다.

   가능한 내용에 대한 자세한 내용은 여기에서 확인할 수 있습니다.

5. ==============================

   5.DryadLinq은 .NET 사용자가 Hadoop과 가장 가까운 것입니다. 그러나 그것은 당신이 사용하려는 것을 따라 달라집니다. 최적화 된자가 유지 분산 파일 (DFS) 시스템을 찾고 있다면 DryadLINQ는 당신이 찾고있는 것이 아닙니다. DFS와 유사하지만 파티션을 수동으로 빌드하고 각 파티션을 분산해야합니다.

   DryadLinq은 .NET 사용자가 Hadoop과 가장 가까운 것입니다. 그러나 그것은 당신이 사용하려는 것을 따라 달라집니다. 최적화 된자가 유지 분산 파일 (DFS) 시스템을 찾고 있다면 DryadLINQ는 당신이 찾고있는 것이 아닙니다. DFS와 유사하지만 파티션을 수동으로 빌드하고 각 파티션을 분산해야합니다.

   즉, DryadoLINQ보다 찾고있는 Hadoop의 분산 된 실행 측면이 정말로 훌륭하다면 (그리고 아니, 나는 MS와 제휴하지 않는다). DryadLINQ를 사용하는 것보다 Microsoft HPC 클러스터를 설치하는 것이 정말 쉽습니다.

   작성한 코드는 LINQ를 IEnumerable 에서 실행하는 대신 PartitionedTable (자체 빌드 분산 데이터 구조)에서 실행해야한다는 점을 제외하면 실제로는 직선적 인 LINQ 코드입니다.

   DryadLINQ에 대해 정말 멋진 점은 알고리즘을 개발할 때 빠른 시도 (시도, 테스트, 조정, 반복)입니다. 계산을 수행하기 위해 LINQ 코드를 작성하면 DryadLINQ가 전체 분산 실행 부분을 처리합니다. 단일 프로세스 처리를위한 코드를 작성하는 것처럼 분산 처리를위한 코드를 작성하는 가장 자연스러운 아날로그입니다.

6. ==============================

   6.RavenDb와 같이 무언가를 들여다 보면 상당히 큰 크기의 데이터에 대해 MapReduce를 매우 적절하게 지원할 수 있습니다. .Net에 내장되어 있으므로 적절한 LINQ 클라이언트 API를 사용할 수 있습니다.

   RavenDb와 같이 무언가를 들여다 보면 상당히 큰 크기의 데이터에 대해 MapReduce를 매우 적절하게 지원할 수 있습니다. .Net에 내장되어 있으므로 적절한 LINQ 클라이언트 API를 사용할 수 있습니다.

   http://ravendb.net/

   시작하면 블로그 항목을 읽을 수 있습니다.

7. ==============================

   7.Apache Hadoop은 야후 및 페이스 북과 같은 업계의 거물들이 적극적으로 개발 및 유지 관리하고 있기 때문에 Apache Hadoop을 사용하고 스트리밍하는 것이 더 좋습니다. 그래서 당신이 기대하는대로 할 수 있습니다.

   Apache Hadoop은 야후 및 페이스 북과 같은 업계의 거물들이 적극적으로 개발 및 유지 관리하고 있기 때문에 Apache Hadoop을 사용하고 스트리밍하는 것이 더 좋습니다. 그래서 당신이 기대하는대로 할 수 있습니다.

   .NET에서 솔루션이 필요한 경우 Myspace 구현 @ MySpace Qizmt를 확인하십시오. - MySpace의 오픈 소스 Mapreduce Framework

8. ==============================

   8.마이크로 소프트는 HDInsight를 출시하고있다. HDInsight는 "100 % Apache 호환 Hadoop 배포판"으로 청구된다.

   마이크로 소프트는 HDInsight를 출시하고있다. HDInsight는 "100 % Apache 호환 Hadoop 배포판"으로 청구된다.

   Windows Server 및 Windows Azure 서비스 모두에서 사용할 수 있습니다.

9. ==============================

   9.Microsoft Research는 Daytona 프로젝트를 운영하고 있습니다. http://research.microsoft.com/en-us/projects/daytona/

   Microsoft Research는 Daytona 프로젝트를 운영하고 있습니다. http://research.microsoft.com/en-us/projects/daytona/

   당신은 그것을 다운로드 할 수 있습니다. C #에는 WordCount 샘플이 있습니다.

10. ==============================

    10..NET에서 직접 Hadoop을 사용할 수 있습니다. Microsoft는 SDK를 출시했습니다.

    .NET에서 직접 Hadoop을 사용할 수 있습니다. Microsoft는 SDK를 출시했습니다.

    https://hadoopsdk.codeplex.com/

    물론 이것은 자바 기반의 Hadoop 네트워크를 사용한다는 것을 의미합니다. 하지만 서버가 Java에서 실행 중인지 여부는 중요합니까? 누군가 포팅을 시도 할 수도 있지만, 기업들이 이미 자바 버전을 지원하고 있으며 .NET 포트가 똑같은 관심을 가질 것으로 생각하지 않기 때문에 좋은 생각이라고 생각하지 않습니다.

11. ==============================

    11.살펴보기 :

    살펴보기 :

    http://www.windowsazure.com/en-us/services/hdinsight/

    Azure 용 Hadoop 구현이며 .NET에 액세스 할 때 사용할 수 있습니다.

12. ==============================

    12.내부적으로 Microsoft는 Cosmos를 사용해 왔습니다. 이것은 Azure를 통해 Microsoft 외부에서 사용할 수있게되었습니다. Azure Data Lake Analytics 및 Azure Data Lake Store로 명명되었습니다. Azure Data Lake 분석은 일종의 서비스로, Azure Data Lake WebHDFS는 서비스입니다. Azure Data Lake Analytics의 첫 번째 버전은 Transact-SQL + C # 기반의 U-SQL 언어 만 호스트합니다.

    내부적으로 Microsoft는 Cosmos를 사용해 왔습니다. 이것은 Azure를 통해 Microsoft 외부에서 사용할 수있게되었습니다. Azure Data Lake Analytics 및 Azure Data Lake Store로 명명되었습니다. Azure Data Lake 분석은 일종의 서비스로, Azure Data Lake WebHDFS는 서비스입니다. Azure Data Lake Analytics의 첫 번째 버전은 Transact-SQL + C # 기반의 U-SQL 언어 만 호스트합니다.

13. ==============================

    13..NET에 대한 MapReduce 구현은 http://mapsharp.codeplex.com/에서 매우 귀엽습니다.

    .NET에 대한 MapReduce 구현은 http://mapsharp.codeplex.com/에서 매우 귀엽습니다.

14. ==============================

    14.dryad / linq가 생산되고 곧 출시 될 예정입니다. http://blogs.technet.com/b/windowshpc/archive/2011/07/07/announcing-linq-to-hpc-beta-2.aspx 비정형 데이터를 처리하기위한 강력한 클러스터 기반 솔루션을 Microsoft HPC와 함께 사용하십시오.

    dryad / linq가 생산되고 곧 출시 될 예정입니다. http://blogs.technet.com/b/windowshpc/archive/2011/07/07/announcing-linq-to-hpc-beta-2.aspx 비정형 데이터를 처리하기위한 강력한 클러스터 기반 솔루션을 Microsoft HPC와 함께 사용하십시오.

15. ==============================

    15.다른 사람들이 언급했듯이, DryadLINQ는 개발자가 MapReduce와 비슷한 방식으로 LINQ 쿼리를 작성하고 클러스터에서 실행할 수있는 프로그래밍 프레임 워크입니다. DryadLINQ 프로젝트는 최근 GitHub의 Apache 라이선스에 따라 출시되었으며이 릴리스에는 YARN 클러스터 (Azure HDInsight 클러스터 포함)에서의 실행에 대한 지원이 포함됩니다.

    다른 사람들이 언급했듯이, DryadLINQ는 개발자가 MapReduce와 비슷한 방식으로 LINQ 쿼리를 작성하고 클러스터에서 실행할 수있는 프로그래밍 프레임 워크입니다. DryadLINQ 프로젝트는 최근 GitHub의 Apache 라이선스에 따라 출시되었으며이 릴리스에는 YARN 클러스터 (Azure HDInsight 클러스터 포함)에서의 실행에 대한 지원이 포함됩니다.

from https://stackoverflow.com/questions/339344/is-there-a-net-equivalent-to-apache-hadoop by cc-by-sa and MIT license