요약

• Redis 의 다수의 요청을 통해서 Redis 의 싱글 쓰레드 기반의 작동에서 문제점을 확인 해보려 성능 테스트 시 연결이 끊기게 되는 이슈
• 기술 환경
• 에러 코드

배경

• Redis 는 싱글 쓰레드로 동작한다는 것을 알게 되고 나서, 이후 대규모 요청이 오게되면 싱글 쓰레드로 작동하는 것에 지연이 되거나 하는 경우 어떤 문제가 발생하는지 확인해보기 위해서 성능 테스트 진행

실행

• Jedis 를 통해서 Redis 의 모든 Keys 정보를 가져오는 명령어를 다수의 요청을 전달 해보자. K6 를 사용해서 Script 를 작성하고 돌려보자

• 아래 Script 를 통해서 30 초간 호출을 진행하도록 작성 했다.

  

• 결과는 처참하게 박살이 났다.

  

  • 초반부 : 큰 문제 없이 조회 OK.

  • 중반부 : Application 에서 Error 발생 [ java.net.SocketException: Broken pipe ]

    

  • 후반부: Request Failed 이 직접적으로 나타나고 연결 불가.

분석

• Broken pipe 를 보면 파이프가 끊어졌다. 즉, 연결이 끊어졌다. 라는 이야기가 되는데… 실제로 보면 Redis Server 가 죽어있지는 않다.
• 찾아보니 Broken pipe 는 2 가지의 Exception 이 존재한다. 2 가지 Exception 도 연결과 관련하여 문제가 발생하는 것으로 보인다.
  • java.net.SocketException: Broken pipe
  • java.io.IOException: Broken pipe
• 이런 상황이 발생하는 상황은 언제 일까?
  • java.io.IOException: Broken pipe
    • 데이터 송수신 중 연결이 끊어진 경우 소켓 연결 또는 파이프 연결에서 서버가 클라이언트와 연결되어 데이터가 흐르고 있을 때 클라이언트가 연결을 강제로 종료하는 경우
    • 네트워크나 서버 CPU 문제로 송신 받은 데이터를 처리하지 못하는 경우 인터넷 속도 문제나 가용 CPU 가 부족하여 처리하지 못하는데 지속적으로 요청이 오는 경우
  • java.net.SocketException: Broken pipe
    • 잦은 입출력을 할 경우 요청 처리가 끝나기도 전에 새로고침, 새로운 요청을 눌러서 재 요청을 계~~속 보내는 경우 소켓이 끊어지면서 발생한다.
• 현재 상황에서 잦은 입출력 K6 을 통해서 동일한 호출을 계속 보내게 되면서 java.net.SocketException: Broken pipe 이 발생하는 것으로 보인다.
• 즉, 호출 되면서 HttpThread 가 생성되고 run 을 해야 하는데, run 하기 전에 다시 재 요청이 들어오게 되면서 처음 요청을 종료하게 된다.