스마트하게 확장하고 비용을 줄이다: 올렉산드르 레온하르드와 DashDevs가 AWS로 클라우드 인프라를 혁신한 방법

올렉산드르 레온하르드가 그의 클라우드 인프라 경력에서 전환점을 나타내는 프로젝트를 회상할 때, 그는 단순히 서버나 아키텍처에 대해 이야기하지 않습니다. 그는 제품, 고객 및 비즈니스 자체를 위한 모멘텀에 대해 이야기합니다.

그 당시 올렉산드르는 DashDevs의 엔지니어링 팀의 일원으로, IT 회사를 위한 비즈니스 프로세스 관리 내부 플랫폼을 구축하고 있었습니다.

아이디어는 간단했습니다: 조직에 워크플로우를 자동화하고, 운영을 시각화하며, 내부 조정을 개선할 수 있는 방법을 제공하는 것이었습니다. 하지만 플랫폼이 성숙해지고 고객의 관심이 증가함에 따라 기존 인프라가 재정적으로나 기술적으로 압박을 감당할 준비가 되어 있지 않다는 것이 분명해졌습니다.

“우리는 벽에 부딪히기 시작했습니다,” 올렉산드르가 말합니다. “인프라는 유지 관리 비용이 비쌌고, 특히 사용자 기반이 증가하고 데이터 부하가 늘어날수록 더욱 그랬습니다. 우리의 컴퓨팅 비용은 예측할 수 없었고, 시스템의 안정성을 유지하는 데 많은 엔지니어링 시간을 소모했습니다.”

회사가 확장됨에 따라 이것이 더 큰 문제가 될 것이라는 것을 인식한 올렉산드르는 클라우드 전략에 대한 전면적인 평가를 제안했습니다. 목표는 비용 효율성, 확장성 및 개발 속도를 염두에 두고 시스템을 재설계하는 것이었습니다.

팀은 인프라를 Amazon Web Services (AWS)로 마이그레이션하기로 결정하고, 오버헤드를 줄이고 지속적으로 인프라 비용을 증가시키지 않고 성장할 수 있도록 하는 서비스에 집중했습니다.

첫 번째 단계는 가장 자원을 많이 소모하는 구성 요소인 데이터베이스를 처리하는 것이었습니다. Amazon RDS로 이동함으로써 팀은 자동 백업, 손쉬운 확장 및 관리되는 보안 패치를 얻었습니다.

이로 인해 그들이 이전에 처리하던 많은 수작업이 제거되어 시간을 절약하고 인적 오류의 위험을 줄였습니다. “RDS를 사용함으로써 우리는 AWS가 필수 유지 관리를 처리하도록 의존할 수 있었습니다,” 올렉산드르가 설명합니다. “즉시 우리의 운영 부담이 줄어들었습니다.”

다음으로 팀은 컴퓨팅 전략을 검토했습니다. 수요에 관계없이 정적 수의 가상 머신을 유지하는 대신, EC2 인스턴스에 대해 자동 스케일링을 구현했습니다.

이로 인해 시스템은 실시간 트래픽에 따라 실행 중인 서버 수를 자동으로 조정할 수 있게 되어, 자원이 필요할 때만 사용되도록 보장했습니다. 이는 비수기 동안 불필요한 비용을 발생시키지 않으면서 사용자 활동의 피크와 저점을 부드럽게 조정하는 데 도움이 되었습니다.

그러나 가장 중요한 변화는 팀이 AWS Lambda와 AWS Fargate를 통해 서버리스 컴퓨팅을 통합하기 시작했을 때 발생했습니다. 특정 작업 부하를 Lambda 함수로 이동함으로써, 그들은 유휴 서버의 비용을 완전히 제거할 수 있었습니다.

전통적인 서버 기반 모델에서 기능-서비스 접근 방식으로의 이 전환은 그들이 요청을 기다리며 유휴 상태로 있는 서버에 대해 비용을 지불하지 않도록 했습니다.

“Lambda는 우리가 확장에 대해 생각하는 방식을 근본적으로 변화시켰습니다,” 올렉산드르가 말합니다. “우리는 더 이상 미리 필요한 서버 수를 추정할 필요가 없었습니다. 대신, 우리는 자동으로 비용 효율적으로 확장할 수 있는 서비스를 구축했습니다.”

하지만 서버리스에 애플리케이션을 적응시키는 것은 기술적 전환 이상의 것을 요구했습니다 — 그것은 개발에 대한 새로운 접근 방식을 요구했습니다.

프로세스를 가속화하고 각 클라이언트 적응을 위해 재설계를 피하기 위해, DashDevs 팀은 AWS 서비스 위에 자체 내부 프레임워크를 만들었습니다.

이 프레임워크는 그들이 새로운 기능과 워크플로우를 빠르게 개발하고 배포할 수 있게 해주었으며, 각 기능은 모듈식 Lambda 함수로 구축되었습니다.

“프레임워크 덕분에 우리는 몇 개월이 아닌 몇 주 안에 새로운 기능을 출시할 수 있었습니다,” 올렉산드르가 언급합니다. “이는 특히 고객이 맞춤화나 새로운 기능을 요청했을 때 큰 장점이었습니다. 우리는 경쟁자보다 더 빠르게 대응할 수 있었고, 개발 비용도 크게 절감할 수 있었습니다.”

내부적으로 플랫폼을 검증한 후, DashDevs는 이를 다른 회사에 제공하기 시작했으며, 각 클라이언트의 고유한 비즈니스 프로세스에 맞게 솔루션을 조정했습니다.

프레임워크의 모듈식 설계 덕분에, 모든 배포는 이전보다 더 빠르고 비용 효율적이었습니다. 이러한 적응성 덕분에 초기 인프라 업그레이드는 DashDevs의 새로운 수익원으로 전환되었습니다.

재설계 과정에서 팀은 Terraform을 사용할지 여부도 평가했습니다. 특히 클라우드 공급자 간 인프라-코드에 대한 유연성을 고려했을 때 말입니다.

강력하지만 Terraform의 더 넓은 범위는 그들의 AWS 중심 스택에 필요하지 않은 복잡성을 동반했습니다.

대신, 그들은 AWS 서비스와의 더 긴밀한 통합을 제공하고 새로운 엔지니어의 온보딩을 단순화한 AWS CloudFormation을 선택했습니다.

“CloudFormation은 Terraform과 함께 오는 추가 오버헤드 없이 우리가 필요로 하는 모든 것을 제공했습니다,” 올렉산드르가 말합니다. “그것은 우리의 배포를 간소화하고 팀의 학습 곡선을 줄였습니다. 우리의 목표에 대해 이 거래는 합리적이었습니다.”

물론, 서버리스 및 자동 스케일링으로의 전환은 도전이 없었던 것은 아닙니다. 팀은 AWS Lambda에서 동시성 제한에 직면했으며, 특히 테스트 단계에서 갑작스러운 요청의 폭주가 시스템을 구성된 임계값을 초과하게 할 수 있었습니다.

모니터링 및 조정이 중요해졌습니다. Amazon CloudWatch를 사용하여 함수 성능, 메모리 사용량 및 실행 시간을 추적하고, 속도와 비용을 최적화하기 위해 설정을 조정했습니다.

재정 관리를 철저히 하기 위해, 그들은 AWS Cost Explorer와 함께 다양한 서비스, 환경 및 클라이언트 프로젝트의 비용을 모니터링하기 위한 상세한 태깅 시스템을 구현했습니다.

이 가시성은 예산 책정뿐만 아니라 인프라에 대한 지속적인 개선을 위한 필수 요소였습니다.

결국 결과는 분명했습니다. DashDevs는 인프라 비용을 25% 줄였고, 더 빠르고 신뢰할 수 있는 제품을 제공했으며, 새로운 클라이언트를 위한 솔루션 맞춤화에 필요한 시간을 크게 줄였습니다.

아마도 더 중요한 것은, 팀이 인프라 문제 해결보다는 제품 혁신에 집중할 수 있는 여유를 되찾았다는 것입니다.

“우리는 단순히 비용을 줄인 것이 아닙니다,” 올렉산드르가 회상합니다. “우리는 기술적으로나 상업적으로 확장할 수 있는 시스템을 만들었습니다.

AWS 서비스와 우리의 내부 프레임워크의 조합은 우리가 더 빠르게 움직이고, 더 적게 지출하며, 곡선을 앞서 나갈 수 있도록 해주었습니다.”

오늘날, 그 작업은 계속해서 결실을 맺고 있습니다. 올렉산드르가 재설계하는 데 도움을 준 플랫폼은 여러 클라이언트 솔루션의 기반이 되었으며, 각 솔루션은 DashDevs 팀이 마련한 기초 덕분에 맞춤형이면서도 비용 효율적입니다.

“인프라를 구축할 때, 당신은 단순히 오늘의 문제를 해결하는 것이 아닙니다,” 그는 말합니다. “당신은 운영 비용에 얽매이지 않고 성장할 수 있는 회사의 능력을 설정하고 있습니다. 그것이 AWS가 우리에게 가능하게 해준 것이며, 내가 맡는 모든 프로젝트에서 가지고 있는 접근 방식입니다.”

이 이야기는 2022년 9월 3일에 처음 발표되었습니다.