flink 예제

Tempo de leitura: menos de 1 minuto

0 Flares Filament.io 0 Flares ×

이 함수는 시간 간격에 대한 몇 가지 상수, 시간 포터 및 Flink에서 관리하는 키에 있는 상태에 대한 상태 핸들을 선언합니다. 관리 되는 상태는 주기적으로 검사 되 고 실패하는 경우 자동으로 복원 됩니다. 키 상태는 키별로 구성되므로 함수는 핸들과 키당 하나의 값을 유지합니다. 이 경우 MonitorWorkTime 함수는 각 키( 즉, 각 licenseId)에 대해 긴 값을 유지합니다. shiftStart 상태는 드라이버 교대의 시작 시간을 저장합니다. 상태 핸들은 첫 번째 이벤트가 처리되기 전에 한 번 호출되는 open() 메서드에서 초기화됩니다. 이 문서에서는 택시 기사의 근무 시간을 모니터링하는 서비스를 뒷받침하는 이벤트 기반 응용 프로그램을 살펴보겠습니다. 2016년 뉴욕 시 택시 및 리무진 위원회는 택시 기사의 근무 시간을 12시간 교대로 제한하고 다음 교대근무가 시작되기 최소 8시간 전에 휴식을 취하기로 결정했습니다. 시프트는 첫 번째 라이딩의 시작부터 시작됩니다. 그 때부터 운전자는 12시간 이내에 새로운 라이드를 시작할 수 있습니다. 우리의 응용 프로그램은 드라이버의 놀이기구를 추적, 자신의 12 시간 창의 종료 시간을 표시 (즉, 그들은 마지막 타기를 시작할 수있는 시간), 그리고 규정을 위반 플래그 놀이기구. 이 예제의 전체 소스 코드는 GitHub 리포지토리에서 찾을 수 있습니다. 원격 JobManager로 전송하여 Flink 프로그램을 실행하는 것과 는 달리 프로그램은 단일 JVM에서 실행됩니다.

따라서 클래스 로드 문제와 같은 특정 문제는 제대로 디버깅할 수 없습니다. 이 문서에서는 아파치 Flink Java API에서 사용할 수 있는 몇 가지 핵심 API 개념 및 표준 데이터 변환을 소개합니다. 이 API의 유창한 스타일을 사용하면 Flink의 중앙 구조인 분산 컬렉션으로 쉽게 작업할 수 있습니다. 아파치 메이븐 3.x. 이 책의 코드 예제는 Maven 빌드 관리를 사용합니다. 또한, Flink는 새로운 Flink 메이븐 프로젝트를 부트 스트랩 메이븐 원형을 제공합니다. 이러한 모든 예제 및 코드 조각의 구현은 GitHub에서 찾을 수 있습니다 .이 프로젝트는 Maven 프로젝트이므로 현재로 가져오고 실행하기가 쉬워야 합니다. Flink는 자바 또는 스칼라 Flink 응용 프로그램에 대한 메이븐 프로젝트를 생성하는 메이븐 아키타입을 제공합니다. 터미널을 열고 Flink 응용 프로그램의 시작점으로 Flink Maven Quickstart 스칼라 프로젝트를 만들기 위해 다음 명령을 실행: Flink 소스는 Flink의 다른 API에 대 한 많은 예제를 포함: Flink 변환 게으른, 그들은 의미 싱크 작업이 호출될 때까지 실행되지 않습니다. 응용 프로그램은 택시 타고 이벤트의 스트림을 섭취 시작합니다. 이 예제에서는 이벤트가 텍스트 파일에서 읽혀지고 구문 분석되어 TaxiRide POJO 개체에 저장됩니다. 실제 응용 프로그램은 일반적으로 아파치 카프카 또는 프라베가와 같은 메시지 큐 또는 이벤트 로그에서 이벤트를 인더싱합니다.

다음 단계는 드라이버의 licenseId에 의해 TaxiRide 이벤트의 키를 하는 것입니다. keyBy 작업은 선언된 필드의 스트림을 분할하여 동일한 키를 가진 모든 이벤트가 다음 함수의 동일한 병렬 인스턴스에 의해 처리되도록 합니다. 우리의 경우, 우리는 우리가 각 개별 드라이버의 작업 시간을 모니터링할 수 있기 때문에 licenseId 필드에 분할. TL;DR 모든 코드는 Flink의 스칼라 API를 사용하여 작성되며 github에서 액세스할 수 있습니다. Flink의 스칼라 API를 사용할 때 기억해야 할 사항 중 하나는 연루된 항목을 가져오는 것입니다. 당신이 그들을 가져 오지 않으면 이상한 오류 메시지가 실행됩니다. Flink의 데이터 스트림 API는 자바와 스칼라에서 사용할 수 있습니다. 따라서 자바 JDK는 Flink DataStream 응용 프로그램인 Java JDK 8(또는 그 이상)을 구현해야 합니다. Java JRE로는 충분하지 않습니다.

명령이 성공적으로 완료되면 프로젝트 폴더에서 새 대상 폴더를 찾을 수 있습니다. 폴더에는 Flink 응용 프로그램의 JAR 파일인 파일 flink-scala-project-0.1.jar가 포함되어 있습니다. 생성된 pom.xml 파일에는 프로젝트에 새 종속성을 추가하는 방법에 대한 지침도 포함되어 있습니다.

Os comentários foram encerrados, mas trackbacks e pingbacks estão abertos.