[HADOOP] .NET 및 Hadoop - 내가 알아야 할 것 / 배우고 사용할 수있는 것은 무엇입니까? [닫은]

.NET 및 Hadoop - 내가 알아야 할 것 / 배우고 사용할 수있는 것은 무엇입니까? [닫은]

제 질문은 .NET의 Big Data에 관한 것입니다. Big Data는 엄청난 양의 데이터 (Facebook, Google, Twitter 등)를 저장하고 쿼리하는 데 사용됩니다. BigData의 예는 MapReduce, Hadoop, Dryad 등입니다.

Microsoft는 Hadoop (Dryad 및 기사) 대신 Dryad (DryadLinq) 대안을 사용하지 않으므로이를 위해 준비해야 할 사항이 있습니다.

현재 이용할 수있는 것은 무엇입니까?

Hadoop 커넥터

SQL Server 2012 RC (프로덕션에서는 사용하지 마십시오.)

빅 데이터에 대한 Microsoft 정보

릴리스 및 개발에 대해 더 알아야 할 사항은 무엇입니까?

TechPreview에 등록하십시오.

질문 1: .NET 플랫폼에 고유하지 않은 Hadoop에 대해 알아야 할 사항은 무엇입니까? (어떻게 쿼리, 특정 패턴, 아키텍처, ...) 유용합니다 (. NET 환경에서)

질문 2 : 이미 알고있는 것보다 .NET 플랫폼의 Hadoop에 대한 자세한 정보가 있습니까?

해결법

1. ==============================

   1.애매한 질문이므로 여기 모호한 대답입니다 :)

   애매한 질문이므로 여기 모호한 대답입니다 :)

   Hadoop 자체는 클러스터에서 map-reduce 작업을 실행하는 도구입니다. 성능 최적화가 잘되어있어 입출력을 사용하지 않고도 데이터를 쉽게 사용할 수 있도록 데이터를 배포하여 많은 양의 최적화 작업을 수행합니다. 벌칙.

   이를 위해 HDFS와 내부 구조에 대해 읽어야합니다. 간단히 말해 입력 데이터가 노드에서 함께 처리되어 로컬에서 프로세스를 실행하고 순차적으로 읽을 수 있습니다 (이는 HDFS의 속성 / 제한 사항입니다) .

   이 방법으로 "BigData"를 입력하면 클러스터 내에서 가장 효율적인 방법으로 분할 및 처리됩니다.

   이제는 'Hadoop 자체에 대한 모든 것이 있습니다. 거기에는 상위 수준에서 추상화를 수행 할 수있는 도구가 있습니다 (지도 축소는 가장 간단한 절차 중 하나입니다).

   다음이 포함됩니다.

   .Net의 특징

   Azure (.Net)의 Hadoop에는 msdn에 대한 정보가 여기에 있습니다. 해당 플랫폼을 통해 Hadoop 애플리케이션을 빌드하는 것과 관련됩니다. 지금은 CTP 일 뿐이며, 물론 이것은 바뀔 것입니다.

   코드가있는 Hadoop 및 MapReduce에 대한 또 다른 좋은 블로그 포스트가 있습니다.

   또한 Hadoop에 대한 정보를 자주 제공하는 회사 인 Cloudera가 있습니다. 자세한 정보는 자주 확인해야합니다. 자세한 내용은 위에 링크 된 cloudera 페이지를 확인하고 Hadoop에 대한 모든 개념을 볼 수 있습니다.

   나는 이것이 당신이 찾고 있던 것이 아니라는 것을 확신하지만 적어도 당신이 원하는 것을 모를 것입니다. 그래서 당신이 도울 수있는 몇 가지 새로운 프로젝트를 점검 할 수 있기를 바랍니다.

   또한 Storm : https://github.com/nathanmarz/storm을 확인하십시오. Hadoop과 관련이 없지만 Hadoop이 적합하지 않은 실시간 시나리오에서 작동합니다.

2. ==============================

   2.현재 Hadoop에는 .NET 관련 항목이별로 없습니다. Hadoop 일반 자습서를 따르기 만하면됩니다. SQL Server 커넥터를 사용하면 입력 데이터를 가져 와서 결과를 응용 프로그램의 나머지 부분에서 더 쉽게 액세스 할 수있는 형식으로 내보낼 수 있습니다.

   현재 Hadoop에는 .NET 관련 항목이별로 없습니다. Hadoop 일반 자습서를 따르기 만하면됩니다. SQL Server 커넥터를 사용하면 입력 데이터를 가져 와서 결과를 응용 프로그램의 나머지 부분에서 더 쉽게 액세스 할 수있는 형식으로 내보낼 수 있습니다.

   Windows에서 Hadoop을 실행할 수 있습니다. 그러나 Cygwin (Microsoft Windows의 경우 Unix 계열 환경 및 명령 행 인터페이스)이 필요합니다.

   기본적으로 Hadoop을 사용하려면 어쨌든 Linux를 배워야합니다.

from https://stackoverflow.com/questions/8257324/net-and-hadoop-what-should-i-know-learn-and-what-is-available by cc-by-sa and MIT license