AWS Glue
-
[Aws + Spring] Spring Boot + Aws Glue + S3를 활용한 방문자 통계 구축 (3)Aws 2024. 1. 2. 22:49
저번 포스팅에 이어서 AWS Glue Job을 생성하기 전에 AWS Glue에 대한 간략하게 설명을 하겠습니다. 🚀 AWS Glue 란 ? AWS Glue는 데이터 ETL(Extract, Transform, Load) 작업을 수행하는 완전관리형 서비스로써, 데이터를 추출하고 변환한 후 다양한 저장소에 로드하는 데 사용됩니다. 이는 다양한 데이터 소스와 대상 간의 데이터 이동 및 변환을 쉽게 수행할 수 있게 해줍니다. 아래는 AWS Glue의 주요 개념에 대한 간단한 설명입니다. Job(잡): 잡은 AWS Glue에서 데이터 변환을 위해 실행되는 작업을 나타냅니다. PySpark 또는 Scala로 작성된 스크립트를 사용하여 데이터를 추출, 변환 및 로드할 수 있습니다. 여러 입력 및 출력을 처리하며, 이러..
-
[Aws + Spring] Spring Boot + Aws Glue + S3를 활용한 방문자 통계 구축 (1)Spring 2024. 1. 2. 22:48
🚀 웹 애플리케이션을 구축할 때 방문자 통계 및 실시간 데이터 분석은 필수 요소입니다. 이번 포스팅에서는 Spring Boot, AWS Glue, 그리고 S3를 결합하여 방문자 통계 시스템을 구축하는 방법을 알아보겠습니다. 이 포스팅에서는 아래 두 가지 통계를 구축할 예정입니다. 1. 일일 방문자 디바이스 통계 (PC, 모바일, 테블릿 수) 2. 일일 사이트 통계 (방문자 수, 페이지 뷰, 회원가입 수) 🎯 이 포스트를 통해 얻을 수 있는 것: AWS Glue를 이용한 데이터 ETL 프로세스 자동화 AWS S3를 활용한 확장 가능한 통계 데이터 저장소 구축 웹 애플리케이션의 방문자 통계 프로세스 구축 ✍️ 목차 1. AWS S3 로그 폴더 생성 2. Spring Boot 설정 3. Spring Boot에..