[이브 온라인] 로그인, 데이터베이스 및 채팅 문제 - 전쟁은 계속됩니다!

https://www.eveonline.com/article/pcs4x8/login-database-and-chat-problems-the-war-continues

CCP의 저희는 최근 일어난 UALX-3의 싸움과 같은 대규모 전투를 더 원활하고 중단없이 진행될 수 있도록 우리의 능력을 향상시킬 수 있는 방법을 항상 찾고 있습니다.

우리는 가상 세계를 설계하고, 단일 샤드에 집중하여, 열린 세계의 살아있는 환경, 어떤 행동이 반드시 결과를 가지고 하나의 선택이 게임 환경 전체에 물결을 일게하고 수십만에 달하는 플레이어들의 경험에 영향을 미칠 수 있도록, 항상 좀 더 도전적인 길을 택해왔습니다.

New Eden은 거대한 전투와 대규모 군사 행동으로 유명해진 6VDT-H, M-OEE8, B-R5RB, Asakai, Nisuwa 및 다른 많은 시스템의 역사적인 전투를 포함하여 놀라운 이야기를 15년 동안 그린 디지털 캔버스입니다.

이 정도 규모의 전투가 일어날 때마다 우리는 성능 향상을 위해 무엇을 바꿔야하는지를 결정하는 것을 위한 데이터를 수집합니다. 또한 이 데이터를 사용하여 Tranquility 클러스터의 전체 인프라를 Tranquility Tech III로 업그레이드할 때 수행된 것과 같은, 하드웨어 업그레이드에 대한 정보를 얻을 수 있습니다.

그러나 업그레이드에도 불구하고, 2018년 초부터 우리는 큰 규모의 전투뿐 아니라 다른 영역에서도 트랭퀼리티의 성능에 영향을 주는 다양한 문제를 겪게 되었습니다.

시간대별로 살펴본 문제들

초기 문제는 2017년 11월과 12월에 시작되어 작은 데이터베이스 문제로 인해 처음에는 일일 중단 시간이 약간 연장되었습니다. 이것은 3월 릴리즈까지 2월 말과 3월에 있었던 세 차례의 대규모 클러스터 충돌로 절정에 달했습니다. 이러한 초기 일련의 이슈들 동안, 우리는 다양한 해결책들을 살펴보았지만 궁극적으로 핵심적인 문제들을 해결하지는 못하였습니다.

새로운 채팅 백엔드 릴리스가 포함된 2018년 3월 릴리스의 배포 날짜에 도달했을 때 우리는 배포일인 3월 20일에 곧바로 일련의 데이터베이스 충돌을 다시 겪었습니다.

이는 파일럿들이 다시 로그인하기 위해 서버로 몰려들어 새로운 클라우드 기반 채팅 클러스터를 그들의 열정으로 압도함에 따라 채팅 시스템과는 완전히 별개의 문제를 부각시켰습니다. 뉴 에덴에 다시 연결하기 위한 이러한 이벤트는 또한 신속하게 해결된 다른 문제들과 우리가 직면한 확장성 문제들을 부각시켰습니다.

안정성은 4월 중 계속해서 문제가 되고, 파일럿의 대량 연결 해제 및 재연결을 초래하는 데이터베이스 문제가 추가되어 채팅 클러스터에 더 많은 부하가 추가되었습니다.

상황은 더욱 복잡해져서, Tranquility는 Fanfest 2018에서 EVE Online : Into The Abyss에 이르는 기간 동안 시스템에 부하를 더욱 추가한 일련의 DDoS 공격의 목표였습니다.

Tranquility의 인프라 외부에서 호스팅되는 채팅 클러스터를 고려하지 않은 DDoS 완화 서비스의 구성 문제와 함께 이러한 공격은 구성이 수정될 때까지 채팅 서비스와의 연결 문제를 야기했습니다.

감사하게도, 우리가 5월에 수행한 SQL 2017로의 업그레이드로 인해 우리가 경험한 데이터베이스 문제가 해결되었고, 그 측면에서 훨씬 더 부드러운 항해가 가능하게 되었습니다. 채팅 문제는 여전히 지속되어 현재 새 시스템에서 작업하는 팀의 주요 관심사입니다.

즉각적인 성능 문제는 배포 당일 대부분 해결되었으며 DDoS 공격 중 강조된 이후의 연결 문제도 해당 기간 동안 해결되었습니다. 많은 수의 문제가 처리되었지만 현재 진행중인 채널 불일치 문제는 여전히 남아 있습니다.

로그인 서버와 관련된 개별 문제가 시작되면서 복잡성 수준이 혼합되었습니다. Into The Abyss가 출시된 후 이러한 문제가 더욱 심각해지고 채팅 시스템에 더 많은 스트레스가 추가되었습니다.

런처에 로그인 토큰을 제공하는 서비스와 함께 Single Sign On 시스템을 호스팅하는 서버의 문제로 인해 파일럿이 Tranquility를 온라인으로 볼 수는 있지만 실행 프로그램이 로그인 서버의 정확한 정보를 받지 못하여 연결할 수없는 경우가 있었습니다 .

대체로, 서로 다른 전문가 팀이 관리하는 인프라의 몇 가지 영역에 걸친 범위 문제가 우연히 완벽한 폭풍우를 만들어 냈습니다. 우리는 현재 이 블로그를 쓰고 있는 와중에도 이 악천후를 해결 중입니다.

그리고 물론, 우리는 피에 굶주린 커뮤니티를 혼합에 추가합니다!

올 여름은 지난 몇 년 동안 우리가 보아온 것 중 가장 바빴으며, 진행 중인 갈등은 우리가 트랭퀼리티에서 예상했던 것보다 더 강렬한 부하를 만들었습니다.

새로운 Abyssal Deadspace 시스템이 추가되었고, 여러 번의 대규모 전투와, 전쟁 기계에 연료를 공급하기 위해 원자재, 콤포넌트, 블루프린트를 대량 생산하면서 시간을 보내는 자원 수확자들의 절실한 필요로, 우리는 예상했던 것보다 훨씬 활동적인 여름을 보내고 있습니다.

그래서 계획은 무엇입니까?

우리는 세계 대전급의 전투를 감당할 수 있는 도구를 계속 제공하고자 합니다.

우리는 또한 더 큰 전투과 더 치열한 싸움을 수용하기 위해 계속 성장할 여지를 계속 유지하기를 원합니다.

여름 동안 진행되는 활동 수준에 관계없이, 우리는 이러한 문제가 커뮤니티 정서에 미치는 영향이 심각하다는 것을 알고 있습니다.

우리는 Tranquility의 성능과 안정성을 즉시 개선하고, 파일럿이 감안하고 받아들일 수 있는 수준으로 신속하게 복귀할 수 있도록 여러 각도에서 작업하고 있습니다.

데이터베이스 문제 :

SQL 2017로의 업그레이드로 인해 EVE Online 데이터베이스에서 겪었던 문제가 해결되었지만 현재 성능을 모니터링하고 안정성과 대응력을 더욱 향상시킬 수있는 방법을 모색 중입니다.

DDoS 완화 :

우리는 DDoS 완화 제공 업체와 협력하여 다음 공격 대상이 될 때 인프라가 트래픽 처리 프로세스를 올바르게 처리하고 서비스에 악영향을 미치지 않도록 보장합니다. 이러한 문제가 다시 발생하지 않도록 파트너와 긴밀한 협력을 통해 여러 가지 구성이 변경되었습니다.

채팅 시스템 문제 :

채팅 클러스터에 대한 연결성을 개선하고 플레이어의 연결이 끊길 수 있는 문제를 근본적으로 해결하기 위한 작업이 진행 중입니다. 5월과 6월에 이 문제를 조사하기 위해 전담 팀을 두 명씩 배치했으며 세 번째 팀은 연결성 및 채널 불일치 문제를 보다 자세히 파악하고 있습니다.

로그인 서비스 문제 :

CCP는 로그인 서비스와 채팅 클러스터의 문제를 확인하기 위해 엔지니어링 안정성 태스크 포스를 구성했습니다. 그들의 초점은 신뢰성 향상과 파일럿이 겪고 있는 문제의 발생을 줄이는 데 있습니다.

더 많은 하드웨어 추가 :

더 많은 하드웨어가 항상 올바른 대답은 아니지만 트랭퀼리티에 SOL 노드 (EVE에서 태양계를 호스팅하는 서버 블레이드)를 추가하면 더 많은 하드웨어로 부하가 분산될 수 있습니다.

이렇게 하면 클러스터가 더 많은 공간을 확보하고 성능이 향상됩니다. 대규모 전투 도중 단일 노드에서의 부하 문제를 해결하지는 않지만 다른 시스템을 다른 위치에 할당하고 이러한 시합에 좀 더 출력과 숨쉴 여유 공간을 제공할 수 있습니다.

우리는 일반적으로 서비스 중인 하드웨어의 유지 보수를 수행하는 동안 교체하기 위해 대기 중인 추가 Flex Chassis를 가지고 있습니다. 현재 클러스터의 높은 로드로 인해 Alliance Tournament 시스템을 호스팅하는데 더 많은 마력을 제공할 수 있도록 이 섀시와 모든 노드를 교대로 배치하여 평상시보다 높은 활동으로 인한 부하가 더 많이 분산되도록합니다 .

추가 하드웨어 구매 :

우리가 일반적으로 유지 관리 스왑 아웃을 위해 사용하던 기존 서버를 추가하는 것에 더하여, 우리의 하드웨어 파트너와도 통화했으며 현재 다음 새 하드웨어의 배송을 기다리는 중입니다.

* 4x SOL Nodes with 2x Intel Xeon Gold 5122 4C 105W 3.6GHz Processors.

* 1x SOL Node with Intel Xeon Gold 6134 8C 130W 3.2GHz Processor for comparison.

이것들은 클러스터에 추가되어 퍼포먼스를 테스트한 뒤, 이들이 매우 많은 우주선을 얼마나 잘 처리하는가를 보고나면 다음 단계에 대해 보다 잘 알려드릴 수 있을 것 같습니다.

여기서 우리는 어디로 가나?

3월에 새 챗 백엔드 시스템의 적용과 이어진 문제들로 인해 연장된 다운타임과 관련하여, 우리는 이 블로그의 게시와 동시에 3월 릴리즈 당시에 활성 중이던 파일럿 여러분에게 스킬포인트 선물을 드렸습니다.

파일럿 여러분은 2018년 3월 20일 (3월 출시일과 이후 연장된 가동 중지 시간)에 활성화된 것으로 간주되는 계정의 모든 캐릭터에게 250,000의 스킬 포인트가 선물로 도착한 것을 확인하실 수 있을 것입니다.

(참고로, "활성" 계정은 지정된 날짜 이전 30일 중에 로그인한 계정으로 정의됩니다)

전쟁이 뉴 에덴에서 파일럿들에게 분노하는 동안, CCP의 우리는 성능과의 전쟁을 계속할 것입니다.

우리는 그것이 끝없는 싸움이라는 것을 알고 있습니다. 그러나 그것에 굴하지 않고, 우리는 전 세계의 캡슐리어들의 업적과 헌신에 힘입어 앞으로 나아갈 것입니다.

커뮤니티가, 우리가 신뢰성과 성과에 대한 우려를 완전히 이해하고 있으며 가능한 한 빨리 이러한 문제를 해결하기 위해 노력하고 있음을 인식하기를 바랍니다.

우리의 캡슐리어는 더 나은 자격이 있으며 우리는 서버의 성능과 신뢰성이 예상 수준으로 돌아가고, 그것으로부터 계속 향상되도록 하는 임무를 띠고 있습니다.

우리 커뮤니티는 우리에게 모든 것입니다. 우리는 그러한 활동 증가에 대비하지 못했고 파일럿들을 실망 시켰습니다.

이에 대해 진심으로 사과드립니다.

이 블로그와 관련하여 의견이나 질문이 있으면 공식 포럼의 의견 게시판으로 자유롭게 이동하십시오.

https://forums.eveonline.com/t/dev-blog-login-database-chat-issues-the-war-continues/