에러 메세지 : Failed to connect to your instance Access denied by EC2 Instance Connect. Either your AWS credentials are not valid or you do not have access to the EC2 instance. ***.pem 키의 권한을 바꿔준다. chmod 0400 {key}.pem 퍼블릭 DNS를 사용하여 연결한다. ssh -i {YOUR_KEY_PAIR_FILE.pem} {USER_NAME}@{AWS_PUBLIC_DNS_}ws.com
SQL의 중요성 모든 데이터 직군에게 필요한 기술은 SQL 데이터 관련 3개의 직군 데이터 엔지니어 파이썬, 자바/스칼라 SQL, 데이터베이스 Spark, Hadoop ETL/ELT(Airflow, DBT) 데이터 분석가 SQL, 비즈니스 도메인에 대한 지식 통계(AB 테스트 분석) 데이터 과학자 ( 통계 중요) 머신러닝 SQL, 파이썬 통계 데이터 요약과 데이터 분석을 위한 SQL 배움이란? 배움에는 시관과 노력이 걸린다. 시간에 따른 배움의 정도 = 실력? 의 그래프를 다음과 같다 했을때, 저 빨간 박스부분에서 견뎌야 한다고 한다. 가장 중요한것을 버티는 힘: 이걸 즐겨야 한다. => shit;; 포기하지 마라. 아무리 못해도 세달은 풀타임으로 메달리라는데, 난 포기 안한다. 포기는 배추 셀 때 하는..
RDS란? AWS 클라우드에서 관계형 데이터베이스를 더 쉽게 설치, 운영 및 확장할 수 있는 웹 서비스이다. 자세한 내용은 AWS RDS document를 읽어보자 실습 AWS콘솔에서 RDS 대시보드로 진입 DB인스턴스를 클릭하면 생성된 DB목록을 볼 수 있다. 데이터 베이스 생성 - MySQL 프리티어로 선택 퍼블릭 엑세스 예로 설정해주기 암호 인증 선택 생성 완료 데이터베이스를 생성하고 보통 클라이언트를 통해 많이 접속한다. mysql workbench 인텔리제이의 datagrip plugin? hostname에는 엔드포인트 이름을, 포트 3306, username은 아까 생성한 아이디, 비밀번호를 입력하고 test connection 데이터그립도 똑같다. 만약 접속이 안된다면 내IP를 보안그룹규칙에..
1. EC2를 생성해 본다. aws 콘솔에서 ec2 대시보드 진입 프리티어로 일단 이용해보기 인스턴스 세부 구성 페이지 일단은 세부사항 설정까지 하지 않고 검토 및 시작을 통해 인스턴스를 실행시킨다. 태그를 편집해노면 나중에 이 인스턴스가 어떤 서버인지 알기 쉽다. 키페어 설정을 해준다. 콘솔에 들어갈수 있도록 인증하는 개인키 없으면 새로 만들면 되고 분실하면 안된다. 인스턴스 생성 완료 SSH 접속을 해야하기 때문에 22번 포트는 열어둔다. 포트란? 2. private key 를 발급해 본다. 3. EC2 서버에 접속해 본다. chmod 400 ***.pem ssh -i ***.pem ubuntu@11.222.333.44 맥을 쓰면 터미널 프로그램을 쓰면 된다. 윈도우 경우 putty, mobatek을..
EC2 Elastic Cloud Compute - 자세한 내용은 AWS 공식 홈페이지 다큐먼트를 읽어보자! 서버가상화를 통해 제공 생성할 때 인스턴스 타입, 가격 정책 등을 보고 자신에게 맞는 인스턴스를 생성하면 된다. AMI AMI - Amazon Machine Image 가상머신은 Image를 활용하여 생성 이미지 - OS, 설치된 프로그램, 설정 등이 포함된 파일 이미지를 가상 서버에 적용하여 동일한 환경 구성 가능 다양한 AMI 제공 - OS별, 목적별, Market Place Security Group EC2 인스턴스에 대한 보안 설정 default로 EC2는 모든 port에 대해 막혀있음 inbound, outbound에 대해 접속 허용 설정 가능 KEY Pair EC2 인스턴스에 접속하기 위..
Architecture of API to serve ML model AWS EC2와 Python Flask 기반 모델 학습 및 추론을 요청/응답하는 API 서버 개발 Interface 사용자는 기계와 소프트웨어를 제어하기 위해 인터페이스를 정해진 매뉴얼에 따라 활용하여 원하는 경험을 획득 컴퓨터의 마우스, 키보드와 같이 입력을 위한 인터페이스와 모니터나 프린터와 같이 정보를 받는 출력을 위한 인터페이스가 있음 인터페이스는 상호 합의된 메뉴얼에 따라 적절한 입력을 받아 기대되는 출력을 제공할 수 있음 API란? Application Programming Interface의 약자로 기계와 기계, 소프트웨어와 소프트웨어 간의 커뮤니케이션을 위한 인터페이스를 의미 노드와 노드 간 데이터를 주고 받기 위한 인터페..
EC2 생성 AMI 선택 aws management console이 변경되서 아래와 같이 들어오면 된다. management cosole home에서 -> 서비스 -> EC2로 들어가기 다음으로 EC2 Manaement Console에서 인스턴스 시작버튼을 클릭하면 AMI 생성 버튼을 볼수 있다. 인스턴스 시작 페이지에서 아래 보이는 '더 많은 AMI 찾아보기'를 들어가서 deep learning을 검색하면 여러 프로비져닝된 ami를 볼 수 있다. 실제로 만들건 아니라 OS는 우분투, GPU가 달린 AMI를 선택해봤다. 그 다음 인스턴스 유형을 선택한다. t2.micro 또는 computing에 최적화된 c5.large 인스턴스 유형 선택한 후(나 같은 경우는 프리티어로 이용가능한 t2.micro 선택 ..
1. Basis of Cloud Service Before Cloud Service 과거에는 인터넷 환경에서 서비스를 제공하기 위해 서비스 제공자는 서비스 호스팅에 필요한 모든 것을 직접 구축 데이터 센터를 처음 구축할 때 서비스 아키텍처나 자원 예상 사용량 등을 고려해 구축 회사나 조직이 직접 모든 것을 구축하고 운영하지 않도록 IDC 등장 IDC는 Internet Data Center의 줄임말로 서버 운영에 필요한 공간, 네트워크, 유지 보수 등의 서비스를 제공함 IDC 입주자가 직접 서버를 구입해 들어오기도 하지만 불필요한 또는 유휴 자원이 발생하기 때문에 IDC에서 직접 서버를 임대해주기도 함 서버 임대를 통해 자원을 효율적으로 이용하고 비용을 줄일 수 있지만 대부분의 IDC의 서버 임대는 계약을..
