hive 쿼리 예제

Hive 0.13.0을 참조하면 FROM는 선택 사항입니다(예: SELECT 1+1). tuples를 처리하기 위해 쿼리절에 람다를 작성하면 매우 번거로울 수 있습니다. 부분적으로 입력된 테이블을 처리하는 더 쉬운 방법은 대신 레코드를 사용하는 것입니다. 다른 모든 것은 아래 예제에서 변경되지 않습니다. 위의 예에서는 null able 연산을 사용하여 사람들이 총 1백만 개 이상의 수익을 올리는 직업의 수를 계산합니다. 이 예제에서는 테이블의 열이 해당 유형으로 지정됩니다. 주석은 테이블 수준뿐만 아니라 열 수준에서도 첨부할 수 있습니다. 또한 절로 분할된 것은 데이터 열과 다르고 실제로 데이터와 함께 저장되지 않는 분할 열을 정의합니다. 이러한 방식으로 지정하면 파일의 데이터는 ASCII 001(ctrl-A)으로 필드 구분 기호및 줄 바이라고 가정합니다.

다음 섹션에서는 시스템의 기능에 대한 자습서를 제공합니다. 먼저 데이터 형식, 테이블 및 파티션의 개념(기존 관계형 DBMS에서 찾을 수 있는 것과 매우 유사함)을 설명한 다음 몇 가지 예제를 사용하여 Hive의 기능을 설명합니다. Hive 쿼리 언어(HiveQL)는 Hive가 메타스토어에서 구조화된 데이터를 처리하고 분석하기 위한 쿼리 언어입니다. 이 장에서는 WHERE 절과 함께 SELECT 문을 사용하는 방법을 설명합니다. 예를 들어 맵의 키에 해당하는 값을 반환합니다. 구별 (dt, 국가) 쌍의 ber는 hive.exec.max.dynamic.partitions.pernode의 한계를 초과합니다. 한 가지 방법은 매퍼의 동적 파티션 열로 행을 그룹화하고 동적 파티션이 생성되는 감속기에 배포하는 것입니다. 이 경우 고유한 동적 파티션 수가 크게 줄어듭니다. 위의 예제 쿼리를 다시 작성할 수 있습니다: Maps연관 배열과 유사한 컬렉션을 제공합니다. 이러한 구조는 현재 프로그래밍 방식으로만 만들 수 있습니다.

우리는 곧 이것을 확장 할 것입니다. 현재 예제에서는 pv.properties가 형식 맵 즉 문자열에서 문자열로 의 연결 배열이라고 가정합니다.

Share Button
Posted in Uncategorized.