Big Data: 데이터팀 역할 데이터 팀의 역할과 구성원은 누구인가? 데이터 팀 조직 구조 모델 개발시 고려할 점 데이터 일 관련 교훈 데이터 팀의 역할 데이터 팀은 어떤 역할을 수행하는가? 데이터 팀의 미션: 신뢰할 수 있는 데이터를 바탕으로 부가가치 생성 내가 하는 일이 회사에 어떤 식으로 도움이 될지 계속 또 생각 생각 해볼것 데이터 팀의 목표1 고품질의 데이터를 제공하여 정책 결정에 사용 결정 과학(Decision Science)라고 부르기도 함 데이터 참고 결정(data informed decisions)을 가능하게 함 vs 데이터 기반 결정(data driven decisions) 데이터 팀의 목표2 고품질의 데이터를 필요할 때 제공하여 사용자의 서비스 경험 개선 머신 러닝과 같은 데이터 기..
SQL의 중요성 모든 데이터 직군에게 필요한 기술은 SQL 데이터 관련 3개의 직군 데이터 엔지니어 파이썬, 자바/스칼라 SQL, 데이터베이스 Spark, Hadoop ETL/ELT(Airflow, DBT) 데이터 분석가 SQL, 비즈니스 도메인에 대한 지식 통계(AB 테스트 분석) 데이터 과학자 ( 통계 중요) 머신러닝 SQL, 파이썬 통계 데이터 요약과 데이터 분석을 위한 SQL 배움이란? 배움에는 시관과 노력이 걸린다. 시간에 따른 배움의 정도 = 실력? 의 그래프를 다음과 같다 했을때, 저 빨간 박스부분에서 견뎌야 한다고 한다. 가장 중요한것을 버티는 힘: 이걸 즐겨야 한다. => shit;; 포기하지 마라. 아무리 못해도 세달은 풀타임으로 메달리라는데, 난 포기 안한다. 포기는 배추 셀 때 하는..
Solutions of a Linear System 해가 하나인 경우(unique solution) 해가 없는 경우(no solution) 0 * x = 6 해가 여러개인 경우(infinitely many solutions) 0 * x = 0 ax = b에서 a = 0이면 특이하다. ax = b의 해가 곧장 나오지 않는다. 왜? a의 역수(inverse)가 존재하지 않는 경우, a가 특이(singular)하다고 한다. 해가 있으면 선형시스템이 consistent하다고 한다. 해가 없으면 선형시스템이 inconsistent하다고 한다. Gauss elimination(가우스 소거법) Forward elimination(전방소거법) : 주어진 선형시스템을 아래로 갈수록 더 단순한 형태의 선형방정식을 가지도록..
가우스 소거법(Gauss 소거법) 선형대수(linear algebra)의 목표는 어떤 연립일차방정식, 즉, linear system(선형시스템) 문제라도 정형적인 방법으로 표현하고 해결하는 방법을 배우는 것이다. $Ax = b$ linear란 선의 형태라는 뜻. 평면이거나 왜곡되지 않은 공간. 올곧은 공간(?) 아래와 같은 식이 있을때, 이 방정식들을 각각 선형방정식(linear equation)이라고 한다. 또 여기서 각각의 미지수 x,y,z를 unknown, 혹인 variable이라고 한다. 위 처럼 3개의 linear equation과 3개의 unknown으로 구성된 연립일차방정식을 3 x 3 linear system이라고 한다. 비선형이란 말은 곡선이라 생각하면됨. 미지수의 승수가 1로만 구성 되..
