[HADOOP] RHADOOP에 문제가 있습니까?
HADOOPRHADOOP에 문제가 있습니까?
RMR를 사용하여 단어 수와 내 옆에서 답변을 시도 - Rhadoop : 나는 질문을 확인했다. 그러나 문제를 많이주고있다. 여기에 코드입니다 :
Sys.setenv("HADOOP_CMD"="/usr/local/hadoop/bin/hadoop")
Sys.setenv("HADOOP_STREAMING"="/usr/local/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.4.0.jar")
# load librarys
library(rmr2)
library(rhdfs)
# initiate rhdfs package
hdfs.init()
map <- function(k,lines) {
words.list <- strsplit(lines, '\\s')
words <- unlist(words.list)
return( keyval(words, 1) )
}
reduce <- function(word, counts) {
keyval(word, sum(counts))
}
wordcount <- function (input, output=NULL) {
mapreduce(input=input, output=output, input.format="text", map=map, reduce=reduce)
}
## read text files from folder example/wordcount/data
hdfs.root <- 'example/wordcount'
hdfs.data <- file.path(hdfs.root, 'data')
## save result in folder example/wordcount/out
hdfs.out <- file.path(hdfs.root, 'out')
## Submit job
out <- wordcount(hdfs.data, hdfs.out)
## Fetch results from HDFS
results <- from.dfs(out)
results.df <- as.data.frame(results, stringsAsFactors=F)
colnames(results.df) <- c('word', 'count')
head(results.df)
여기에 문제가 있습니다 :
https://justpaste.it/143a0 나는이 문제를 이해하지 못하는 어떤이 특정 문제에 대한 해결책이 될 것이다. 친절하게 도와 날이 특정 문제에 대한 해결책이 무엇인지 알려 주시기 바랍니다. 나는 최신 버전으로 RStudio-서버와 R을 사용하고 있습니다.
해결법
from https://stackoverflow.com/questions/42572023/having-issues-with-rhadoop by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 두 번 맵리 듀스를 호출 (0) | 2019.10.22 |
---|---|
[HADOOP] 역사 UI가 작동하지 스파크 | Ambari | 실 (0) | 2019.10.22 |
[HADOOP] / 센트리 보여주기 위해 구성 서로 다른 사용자에 대해 서로 다른 데이터베이스를 숨길 (0) | 2019.10.22 |
[HADOOP] 어떻게지도는 예를 계산 정말 단어에 대한 하둡에서 작업 병렬 처리를 줄일 수 있는가? (0) | 2019.10.22 |
[HADOOP] 어떻게 동적으로 Sqoop을 명령 쉘 스크립트로 날짜를 전달하는 방법? (0) | 2019.10.22 |