[Aws + Spring] Spring Boot + Aws Glue + S3를 활용한 방문자 통계 구축 (1)

reference: https://www.cloudmantra.net/blog/aws-glue-simple-flexible-and-cost-effective-etl/

🚀 웹 애플리케이션을 구축할 때 방문자 통계 및 실시간 데이터 분석은필수 요소입니다.
이번 포스팅에서는 Spring Boot, AWS Glue, 그리고 S3를 결합하여 방문자 통계 시스템을
구축하는 방법을 알아보겠습니다.

 
 

이 포스팅에서는 아래 두 가지 통계를 구축할 예정입니다.

1. 일일 방문자 디바이스 통계 (PC, 모바일, 테블릿 수)
2. 일일 사이트 통계 (방문자 수, 페이지 뷰, 회원가입 수)

 
 

🎯 이 포스트를 통해 얻을 수 있는 것:

• AWS Glue를 이용한 데이터 ETL 프로세스 자동화
• AWS S3를 활용한 확장 가능한 통계 데이터 저장소 구축
• 웹 애플리케이션의 방문자 통계 프로세스 구축

 

✍️ 목차

1.  AWS S3 로그 폴더 생성
2. Spring Boot 설정
3. Spring Boot에서의 방문자 통계 수집 API 개발
4. AWS Glue 작업 및 스크립트 작성

 

실습환경

• Intellij Ultimate
• JAVA 17
• Spring Boot 2.7.3
• Spring Security
• Maven
• MySQL

---

1. AWS S3 로그 폴더 생성

먼저 로그 파일을 쌓을 AWS S3에 디렉토리를 추가 해줘야 합니다.
S3 버킷은 생성 되어 있다는 전제하에 진행 하겠습니다.
S3 버킷 생성은 아래 링크를 참고 해주세요.
https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/create-bucket-overview.html
 

 
 
루트 디렉토리 하위에 /log/site-visit directory를 추가합니다. 이렇게 로그 데이터를 저장할 S3 Bucket의 Directory는 준비 됐습니다.

일일 사이트 통계를 위한 site-signup, site-page-view directory도 추가 해두겠습니다.
 

---

2. Spring Boot 설정

먼저, AWS에 로그 파일을 쌓기 위해서 Aws Client 설정을 해줘야 합니다.
Maven Dependency에 s3 sdk를 추가 하겠습니다.

<dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-java-sdk-s3</artifactId>
            <version>1.12.470</version>
</dependency>

 
 
 
Aws Client 설정을 하는 AwsConfig Class를 생성하고 S3 Bucket 정보와 Credentials 정보를 초기화 합니다.
먼저, 관련 정보를 application.yml에 초기화 해줘야 합니다.
 
📘 application.yml

cloud:
  aws:
    credentials:
      access-key: {Your Access Key}
      secret-access-key: {Your Secret Key}
    s3:
      bucket: {Your Bucket Name}
    region:
      static: ap-northeast-2

 
 
 
 
통계용 로그 데이터 파일을 생성하고 S3에 업로드를 하는 Method를 추가 하기 위해 AwsComponent를 생성합니다.
AmazonS3 클래스의 putObject method로 로그 파일을 생성할 수 있습니다.
 
📘 AwsComponent.class

@Slf4j
@Builder
public class AwsComponent {

    private Environment environment;

    private String bucketName;

    private AmazonS3 amazonS3;

    private String accessKey;

    private String secretKey;

    public void saveToFile(String path, String content) {
        log.info("save file path : {}", path);
        try {
            amazonS3.putObject(bucketName, path, content);
        } catch (AmazonS3Exception e) {
            log.error("save file error : path[{}], message[{}]", path, e.getMessage());
            throw e;
        }
    }
}

 
 
 
 
위에서 생성한 AwsComponent에 AwsClient 및 S3 정보를 초기화 하기 위한 AwsConfig를 생성합니다.
이렇게 Bean을 추가 해주면, AwsComponent를 DI 할 때 설정 정보가 초기화 되어 있게 됩니다.
 
📘 AwsConfig.class

@Configuration
@RequiredArgsConstructor
public class AwsConfig {

    private final Environment environment;

    @Value("${cloud.aws.s3.bucket}")
    private String bucket;

    @Value("${cloud.aws.credentials.access-key}")
    private String accessKey;

    @Value("${cloud.aws.credentials.secret-access-key}")
    private String secretKey;

    @Value("${cloud.aws.region.static}")
    private String region;

    @Bean
    public AwsComponent amazonS3Client() {
        BasicAWSCredentials awsCredentials = new BasicAWSCredentials(accessKey, secretKey);
        AWSStaticCredentialsProvider staticCredentialsProvider = new AWSStaticCredentialsProvider(awsCredentials);
        return AwsComponent
                .builder()
                .bucketName(bucket)
                .environment(environment)
                .accessKey(accessKey)
                .secretKey(secretKey)
                .amazonS3(
                        AmazonS3ClientBuilder
                                .standard()
                                .withRegion(region)
                                .enablePathStyleAccess()
                                .withCredentials(staticCredentialsProvider)
                                .build())
                .build();
    }
}

 
 
 
이렇게 AWS S3 관련 설정과 로그 파일을 업로드하는 Method 추가까지 완료 했습니다.
이제 통계 정보를 DB에 저장하기 위한 클래스들을 생성 하겠습니다.

 

 

 

추후 AWS File에 Body에 입력할 클래스들의 생성시간 필드를 공통 클래스로 생성합니다.

📘 CommonLog.class

@Getter
@NoArgsConstructor(access = AccessLevel.PROTECTED)
@MappedSuperclass
public abstract class CommonLog {

    protected LocalDateTime dateTime = LocalDateTime.now();

    protected LocalDate date = dateTime.toLocalDate();

}

 

 

 

일일 방문자, 디바이스 Entity의 생성시간을 공통 클래스로 생성합니다.

📘 CommonLog.class

@Getter
@MappedSuperclass
@EntityListeners(AuditingEntityListener.class)
public abstract class CommonCreateDateTimeEntity {

    @Setter
    @CreatedDate
    @Column(nullable = false, columnDefinition = "datetime default now()")
    @Comment("생성 일시")
    protected LocalDateTime createdDateTime;

}

 

 

먼저 사이트 로그 유형 Enum을 생성합니다.
📘 SiteLogType.class

public enum SiteLogType {
    VISIT,
    PAGE_VIEW,
}

 

 

 

방문자 디바이스 정보가 담겨있는 SiteVisitLog Entity를 생성합니다. userId는 로그인 한 사용자의 고유한 아이디 값입니다.
📘 SiteVisitLog.class

@Entity
@Getter @Setter
@NoArgsConstructor(access = AccessLevel.PROTECTED)
public class SiteVisitLog extends CommonLog {

    @Id @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Long id;

    @Comment("디바이스")
    private String device;

    @Comment("사용자 아이디")
    private String userId;

    private String osFamily;

    private String osVersion;

    private String browserFamily;

    private String browserVersion;

    @Enumerated(EnumType.STRING)
    private final SiteLogType type = SiteLogType.VISIT;

    public SiteVisitLog(String userId) {
        this.userId = userId;
    }
    
    public SiteVisitLog(String userId, String device, String osFamily, String osVersion, String browserFamily, String browserVersion) {
	this(userId);
        this.device = device;
        this.osFamily = osFamily;
        this.osVersion = osVersion;
        this.browserFamily = browserFamily;
        this.browserVersion = browserVersion;
    }
}

 

각 필드의 역할과 의미에 대한 간단한 설명은 다음과 같습니다:

1. device (디바이스):
   • 설명: 사용자가 액세스하는 디바이스의 이름을 나타내는 문자열입니다. 단, Android 같은 경우엔 device에 'android'가 아닌,  'Samsung-xxx' 와 같은 이름이 저장 될 수 있습니다. 이럴 경우엔 아래의 osFamily를 확인해야 합니다.
   • 예시: "Windows", "Mac OS", "Linux", "Android", "Samsung-xxx", "IPad" 등
     
2. osFamily (운영체제 패밀리):
   • 설명: 사용자가 액세스하는 디바이스의 운영체제를 나타내는 문자열입니다.
   • 예시: "Windows", "Mac OS", "Linux" 등
3. osVersion (운영체제 버전):
   • 설명: 사용자의 디바이스에 설치된 운영체제의 버전을 나타내는 문자열입니다.
   • 예시: "10.0.19042" (Windows 10의 버전), "11.3.1" (macOS Big Sur의 버전) 등
4. browserFamily (브라우저 패밀리):
   • 설명: 사용자가 웹 애플리케이션에 액세스하는 데 사용하는 브라우저를 나타내는 문자열입니다.
   • 예시: "Chrome", "Firefox", "Safari" 등
5. browserVersion (브라우저 버전):
   • 설명: 사용자가 사용하는 브라우저의 버전을 나타내는 문자열입니다.
   • 예시: "94.0.4606.81" (Google Chrome의 버전), "92.0.4515.159" (Mozilla Firefox의 버전) 등

 

일일 방문자 디바이스 통계 Entity를 생성합니다. 데스크탑, 모바일, 테블릿, unknown 디바이스 정보를 포함하고 있습니다.

📘 DailyDeviceStats.class

@Entity
@Getter
@NoArgsConstructor
public class DailyDeviceStats extends CommonCreateDateTimeEntity {

    @Id @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Long id;

    private LocalDate date;

    private Long desktopCount;

    private Long mobileCount;

    private Long tabletCount;

    private Long unknownCount;

    public DailyDeviceStats(LocalDate date) {
        this(date, 0L, 0L, 0L, 0L);
    }


    public DailyDeviceStats(LocalDate date, Long desktopCount, Long mobileCount, Long tabletCount, Long unknownCount) {
        this.date = date;
        this.desktopCount = desktopCount;
        this.mobileCount = mobileCount;
        this.tabletCount = tabletCount;
        this.unknownCount = unknownCount;
    }
}

 

 

 

일일 사이트 통계 Entity를 생성합니다. 방문자, 회원가입, 페이지뷰(PV) 수 정보를 포함하고 있습니다.

📘 DailySiteStats.class

@Entity
@Getter @Setter
@NoArgsConstructor(access = AccessLevel.PROTECTED)
@Table(uniqueConstraints = {
        @UniqueConstraint(columnNames = {"date"}, name = "daily_site_stats_uk")
})
public class DailySiteStats extends CommonCreateDateTimeEntity {

    @Id @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Long id;

    private LocalDate date;

    private Long visitorCount;

    private Long signUpCount;

    private Long pageViewCount;

    public DailySiteStats(LocalDate date) {
        this(date, 0L, 0L, 0L);
    }

    public DailySiteStats(LocalDate date, Long visitorCount, Long signUpCount, Long pageViewCount) {
        this.date = date;
        this.visitorCount = visitorCount;
        this.signUpCount = signUpCount;
        this.pageViewCount = pageViewCount;
    }

    public void addVisitorCount() {
        this.visitorCount++;
    }

    public void addSignUpCount() {
        this.signUpCount++;
    }

    public void addPageViewCount() {
        this.pageViewCount++;
    }

}

일별 중복 데이터가 생성 되는것을 방지 하기 위해서 @UniqueConstraint 제약조건을 설정 했습니다.

데이터 저장시 Lock을 설정해서 동시성 제어를 처리할 수도 있지만, Lock으로 인한 데이터 처리 속도가 지연 되면 안되는 데이터이기 때문에, Unique Key를 설정하였습니다.

 

 

S3에 body를 write 하기 위한 클래스들을 추가 하겠습니다. 아래 클래스들은 저장 하기 위한 용도가 아니라서 Entity가 아닙니다.

 

📘 PageViewLog.class

@Getter @Setter
@NoArgsConstructor(access = AccessLevel.PROTECTED)
public class PageViewLog extends CommonLog {

    private String userId;

    private String uri;

    private final SiteLogType type = SiteLogType.PAGE_VIEW;

    public PageViewLog(String userId, String uri) {
        this.userId = userId;
        this.uri = uri;
    }
}

 

 

📘 SiteSignUpLog.class

@NoArgsConstructor(access = AccessLevel.PROTECTED)
@Getter
public class SiteSignUpLog extends CommonLog {

    private String userId;

    private final SiteLogType type = SiteLogType.SIGN_UP;

    public SiteSignUpLog(String userId) {
        this.userId = userId;
    }
}

 

 

위에서 추가한 날짜 필드가 선언 되어 있는 CommonLog 클래스를 상속 받았습니다.
마찬가지로 SiteLogType Enum Class로 유형을 구분합니다.

 

 

이로써, 필요한 기본적인 클래스들은 생성을 해줬습니다. 먼저 사용자의 Device 정보를 쌓기 위해서 Interceptor를 생성하겠습니다.

---

3. Spring Boot에서의 방문자 통계 수집 API 개발

UserAccessInterceptor 에서는 API 호출이 발생할 때마다 preHandle method가 실행됩니다. 사용자의 방문일을 세션에 저장 한 뒤, 일별로 최초 1번만 실행하기 위해수 세션에 방문일이 없거나 저장 된 방문일과 다른 날짜(이전 날)인 경우,
방문자의 디바이스 정보를 DB와 S3에 저장합니다.

 

 

📘 CustomInterceptor.class

interceptor가 여러개인 경우를 위해 HandlerInterceptor를 상속 받은 interface를 생성합니다.
이후 InterceptorRegistry에 pathPattern를 추가하기 위해 pathPattern 메서드도 선언합니다.

public interface CustomInterceptor extends HandlerInterceptor {

    String pathPattern();
}

 

 

 

📘 UserAccessInterceptor.class

이 클래스는 CustomInterceptor를 구현하고 있으며, Spring의 HandlerInterceptor를 확장하여 API 엔드포인트에 접근한 사용자의 디바이스 정보를 로깅하는 역할을 합니다.

@Component
public class UserAccessInterceptor implements CustomInterceptor {

    @Autowired
    private LoggingWebService loggingWebService;

    private final Parser uaParser = new Parser();

    private static final GrantedAuthority USER_AUTHORITY = ROLE_AUTHORITIES_MAP.get(UserRole.NORMAL);

    @Override
    public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception {
        HttpSession session = request.getSession(false);

        if (session == null) return true;

        Authentication authentication = SecurityContextHolder.getContext().getAuthentication();

        Object principal = authentication.getPrincipal();
        if (principal instanceof SessionUser sessionUser) {
            if (!sessionUser.getAuthorities().contains(USER_AUTHORITY))
                return true;

            // 사용자의 마지막 로그인 시각을 저장해놓고, 현재 시각과 비교하여 다르면 로그를 남긴다.
            Object lastLoginDate = session.getAttribute("lastLoginDate");
            LocalDate today = LocalDate.now();

            if (lastLoginDate == null || !((LocalDate)lastLoginDate).isEqual(today)) {
                session.setAttribute("lastLoginDate", today);
                String userAgent = defaultString(request.getHeader("User-Agent"), "");
                logDeviceInfo(sessionUser.getId(), userAgent);
            }
        }

        return true;
    }

    @Override
    public String pathPattern() {
        return "/api/**";
    }

    private void logDeviceInfo(String userId, String userAgent) {
        Client client = uaParser.parse(userAgent);

        String deviceFamily = client.device.family;
        String osFamily = client.os.family;
        String osVersion = client.os.major + "." + client.os.minor;
        String browserFamily = client.userAgent.family;
        String browserVersion = client.userAgent.major + "." + client.userAgent.minor;

        loggingWebService.addSiteVisitLog(userId, deviceFamily, osFamily, osVersion, browserFamily, browserVersion);
    }

}

 

UserAccessInterceptor에 대한 설명은 다음과 같습니다.

 

1. UserAgent 파싱:
   • User-Agent 정보를 파싱하기 위한 uaParser 인스턴스를 생성합니다.
2. 사용자 권한 및 로그인 시간 로깅:
   • preHandle 메서드에서는 현재 사용자의 세션 정보를 확인하고, 해당 사용자가 일반 사용자 권한을 가지고 있는 경우(UserRole.NORMAL), 마지막 로그인 시간을 확인하여 다른 날짜인 경우에만 로그인 기기 정보를 로깅합니다.
   • 로그인 시간은 세션의 속성으로 저장되어 다음 로그인 시 비교에 사용됩니다.
3. 로그인 기기 정보 로깅:
   • logDeviceInfo 메서드에서는 User-Agent 정보를 파싱하고, 해당 정보를 이용하여 로그인한 사용자의 기기 정보를 추출합니다.
   • 추출된 정보는 loggingWebService를 통해 로그로 기록됩니다.
4. 적용 경로:
   • pathPattern 메서드에서는 이 인터셉터가 어떤 경로에 적용되는지를 나타내는 패턴을 지정합니다. 현재는 /api/** 패턴으로 설정되어 API 엔드포인트에만 적용됩니다.

 

해당 interceptor를 구현 했다고 실행 되는것이 아니라, InterceptorRegistry에 interceptor를 추가해줘야 합니다.

 

 

📘 WebConfig.class

@Configuration
@RequiredArgsConstructor
public class WebConfig implements WebMvcConfigurer {

    private final Environment environment;

    private final List<CustomInterceptor> interceptors;

    @Override
    public void addInterceptors(InterceptorRegistry registry) {
        for (CustomInterceptor interceptor : interceptors) {
            registry.addInterceptor(interceptor)
                    .addPathPatterns(interceptor.pathPattern());
        }
    }
}

 

CustomInterceptor Interface 목록을 DI 한 뒤, addInterceptors override method에 pathPattern과 함께 interceptor를 추가합니다. 이제 "/api/**" 경로의 API가 호출 될 때마다 UserAccessInterceptor의 prehandle method가 실행됩니다.

 

 

내용이 길어지는 관계로 다음 포스팅에서 이어서 작성하겠습니다.