[HADOOP] 방법) (루프의 텍스트들 사이에서 반복하고 맵리 듀스에서 특정 문자의 수를 찾을 수
HADOOP방법) (루프의 텍스트들 사이에서 반복하고 맵리 듀스에서 특정 문자의 수를 찾을 수
그래서 여기에 '키'와 '가치'와 같은 특정 이름이 사람의 지정의 급여와 같은 명칭의 무리가있는 특정 데이터 세트에 () 코드를 줄의 조각이다
public static class ReduceEmployee extends
Reducer<Text, IntWritable, Text, IntWritable>
{
public void reduce(Text key, Iterable<IntWritable> values,
Context context) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
context.write(key, new IntWritable(sum));
}
}
나는, 그것은 칼럼 - 주어진 값으로 공통 키 (관리자, 스튜 워드 주어진 열 방향과 같은 명칭의 무리)와 정수 (급여)의 무리를 가지고 있다는 것입니다 제대로 이해한다면이 무엇을하는지, 이러한 정수의 각각 반복 및 추가 0 (비슷한 키로 매핑 후) 특정 키의 총 급여를 얻을 수 있습니다
나는 key'columnwise '와 같은 도시 이름의 무리와 텍스트 형식 영역의 유형 (이전 데이터 세트 좋아하지 정수 급여) 예 (등 거주 또는 목재) 칼럼 - 주어진이 있었다 다른 데이터 집합을, 주어졌다
public static class ReduceEmployee extends
Reducer<Text, Text, Text, IntWritable> {
public void reduce(Text key, Iterable<Text> values,
Context context) throws IOException, InterruptedException {
int count = 0;
Text r;
for (Text val : values) {
r = val.get();
if (r=="Residential")
{
count++;
}
}
context.write(key, new IntWritable(count));
}
}
내가 달성하고 싶은 내 줄 () 내가 그렇게 수를 증가시킬 경우, 열을 기준으로 모든 텍스트 값 열 사이를 반복하고, 각 텍스트를 스캔하고 "거주"로 읽고 있는지 확인하려는 것입니다. 그러나 방법의 get ()는 텍스트를 입력에 대한 정의되지 않습니다. 분명 내가 텍스트의 그 열 사이를 이동하려면 매우 적은 지식을 가지고 (나는 영리하고 부담이 데이터 세트에 대한 텍스트는 int 대체 할 수 있다고 생각). 누군가가 나를 도와 나에게 내가 이것에 대해 가야 방법에 대한 해결책을 줄까요?
해결법
-
==============================
1.이와 루프에 대한 귀하의 교체 시도
이와 루프에 대한 귀하의 교체 시도
for (Text val : values) { if (val.toString().equals("Residential")){ count++; } }
당신의 가치는 당신이 사용할 필요가 텍스트이기 때문에 "거주"로 그것을 일치하는 동일합니다. 및 갔지 ()는 텍스트에 대해 정의되지 않는다.
이것은 당신이 필요 희망
from https://stackoverflow.com/questions/34958593/how-to-iterate-among-text-in-the-for-loop-and-find-count-of-a-particular-text-in by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 선택 스파크 및 별명에 열을 추가 (0) | 2019.10.19 |
---|---|
[HADOOP] 자바 코드에서 하이브를 site.xml의 위치를 찾기 (0) | 2019.10.19 |
[HADOOP] 파이썬 제출 오류 스파크 : 파일이 존재하지 않습니다 pyspark.zip를 (0) | 2019.10.19 |
[HADOOP] 왜 RackAareness의 클래스를 찾을 하둡 수없는 이유는 무엇입니까? (0) | 2019.10.19 |
[HADOOP] 다른 그룹에 데이터 유형에서 비교를 수행 할 때 어떻게 잠재적 인 데이터 손실을 처리하기 위해 (0) | 2019.10.19 |