Knowledge

Trino(PrestoDB)는 분산 SQL 쿼리 엔진으로, 하나 이상의 혼성 데이터 소스에 분산된 대규모 데이터 세트를 쿼리하기 위해 설계된 오픈 소스 소프트웨어이다. Trino는 Hive 및 Iceberg 테이블 형식을 사용하여 HDFS, AWS S3, Google Cloud Storage 또는 Azure Blob Storage 같은 다양한 스토리지 시스템에 존재하는 ORC 또는 Parquet 와 같은 개방형 열 지향 데이터 파일 형식을 포함하는 데이터레이크를 쿼리할 수 있다. 또한 Trino는 MySQL, PostgreSQL, Cassandra, Kafka, MongoDB, 그리고 Elasticsearch 와 같은 다양한 데이터 소스의 테이블을 쿼리하는 페더레이션 쿼리를 실행할 수 있다. Trino는 Apache 라이선스 에 따라 배포된다.

AWS의 Athena가 Presto 기반, NHN cloud의 DataQuery의 경우 Trino 기반이다.

Trino 바이너리 다운로드 및 설치, 기본 설정

• RPM, DEB 등 패키지 설치가 아닌 바이너리 다운로드 및 구동 기준 변수 설정 등.

Trino 구동을 위한 설정, (LDAP 인증, TLS 적용 설정)

• LDAP을 통한 인증 설정이 된 Trino 클러스터 설정.
• 인증 기능을 활성화 하기 위해서는 TLS설정이 필요하므로, TLS 설정을 포함한다.
  자체 서명 인증서 생성과 관련된 내용은 “사설 인증서 생성” 에서 확인할 수 있다.

Trino FileDB 기반 인증 설정

• LDAP이 아닌 FileDB를 통한 인증 설정.

Trino Data Catalog 설정

• Trino를 통해 접근할 타겟 데이터 베이스 카탈로그 설정.
• Iceberg 활용을 위한 메타스토어 등록 등.
• HDFS(Hadoop Distributed File system), 오브젝트 스토리지(minio) 등.