Data Engineering의 필요성?
in Data Science on Engineering
Data Engineering 필요성
모든 비즈니스가 동일한 데이터 분석 환경을 갖출 수 없으며, 성장 단계에 따라 선택과 집중을 해야하는 분석환경이 다름
자연어처리 - 언어모델링(LM)
in Data Science on ML/DL
NLP - Language Modeling (LM)
언어모델 (LM)이란 문장의 확률을 나타낸 모델
- 문장 자체의 출현 확률을 예측 하거나,
- 이전 단어들이 주어졌을 때 다음 단어를 예측하기 위한 모델
GIT
Git에 관하여
1. 자주사용 하는 Git (Linux) 명령어
개인적으로 정리한 Git 명령어 입니다. 무엇보다도 손에 익어서 command를 자유롭게 날리는게 핵심인 듯 합니다.
git init # git 생성하기
git checkout branch_name # 브랜치 선택하기
git pull # git서버에서 최신 코드 받아와 merge 하기
git fetch # git서버에서 최신 코드 받아오기
git config global user.name “user_name” # git 계정Name 변경하기
git config — global user.email “user_email” # git 계정eMail 변경하기
2.Git이란?
협업툴, Version Control, Source관리를 위한 도구이며 결국 수많은 사람이 코드작업 등을 붙어서 같은 곳을 보며 작업할 수 있는 생산성을 이끌어내는 도구정도로 볼 수 있는 것 같네요.
3.Git설치 URL
아래 공식 Git 사이트에서 다운로드 가능합니다. 맥/윈도우 환경에 맞추어 다운로드 및 설치
https://git-scm.com/downloads
4.Git 작업흐름
git add → git commit - m → git push origin master 형태로 진행되는 것 같습니다.
$ git add -A
$ git commit -m "added the most important feature ever before"
$ git push origin master
git 의 master branch로 작업하는 것은 혼자서 모든 권한을 가지고 작업하는 경우(개인 포트폴리오 등등)에 주로 사용됩니다. 그러나, 대부분 팀으로 일하기 때문에 두 명이상이 붙어서 개발작업을 할 경우 branch를 만들어서 작업합니다.
$ git checkout -b new_feature # `new_feature` 브랜치 생성
$ git add -A # 작업 결과를 Staging Area 저장
$ git commit -m "finish up the latest feature ever before" # 커밋하기
$ git push origin new_feature # new_feature 브랜치에 결과를 푸쉬해서 밀어넣기
$ git branch --set-upstream-to origin/new_feature #업스트림 origin 설정하기
$ git checkout master # `master` 브랜치 작업 시작
$ git branch --delete new_feature # 로컬 `new_feature` 브랜치 삭제
$ git branch -D new_feature # 로컬 `new_feature` 브랜치 삭제
$ git push origin :new_feature # 호스팅된 `new_feature` 브랜치 삭제
조직 꾸려나가기
Introduction - 조직을 꾸려나가기
- 팀에 Join한지 딱 1주일 지났다.
- 대략 눈치껏 이래저래 파악된 점은 있으나 여전히 많은 부분 안개속에 가려져 있다.
- 데이터 사이언스와 개발을 하는 팀이지만 비즈니스 또는 기획 등의 업무를 할 사람의 니즈가 분명히 있어보인다.
- 기술보다 팀워크 및 소통이 우선이라는 말이 괜히 나오는 말같지 않다.
- 책 한권이 떠올랐다. 존 도어 “OKR”
- OKR은 Objective + Key Result 를 합친 말이고 조직 및 개인의 목표 설정 같은 프레임 웍이다. 글로벌리 많이 통용되고 특히 구글 인텔 여러 굴직한 IT기업에서 많이 사용하는 프레임웍인 것 같다.
- 파생되는 질문은, 우리 팀의 O는 무엇일지 궁금하다. 조직장의 O, 중간관리자의 O, 구성원들의 O.
Super Power #1
***능력보다 우리의 참모습을 더 잘 보여 주는 것은... *** **우리가 내리는 선택이다. *** ***- J.K. *Rowling -***
중요성에 대한 측정은 ‘앞으로 3개월 동안 가장 중요한 것은 무엇인가?’ 라는 질문으로 시작된다.
- 성공적인 조직은 실질적인 성과를 만들어낼 수 있는 몇 가지 전략에 ‘집중’하고, 그렇지 않은 것은 뒤로 미룬다.
- 성공하는 리더는 말과 행동으로 자신이 선택한 것에 ‘헌신’한다.
- 리더는 ‘무엇’은 물론 ‘왜’를 구성원들에게 이해시켜야 한다. 조직 내 모든 구성원에게 동기를 부여하기 위해서는 일정표 이상의 것을 제시해야 한다. 직원들은 자신의 목표가 기업 사명과 어떻게 연결되어 있는지 이해하길 원한다.
OKR은 이론과 행동이자 전망과 실천이다.
- 핵심결과란 목표를 조준하는 가늠자다. 올바른 목표를 선택했다면 핵심결과는 3~5개로 충분하다.
- 효과를 최대로 끌어올리기 위해서는 측정 대상이 된 활동이 끝난 직후에 피드백을 제시해야 한다. 그렇기 때문에 OKR시스템의 주기는 상대적으로 짧아야 한다. OKR의 최적 주기는 기업 상황 및 조직 문화에 따라 다르다.
- 중요한 요소를 희생함으로써 구체적이고 도전적인 목표를 달성하고자하면 망함.
- OKR은 주기 중간에 얼마든지 수정하고 폐기할 수 있다는 사실.
- OKR의 강도를 조절 할 수 있다. 약하게/중간/강하게
- 이상적으로 분기별 OKR은 3~5가지가 좋다. 사람들은 여기에 하나라도 더 추가하려는 유혹을 느끼지만, 이러한 시도는 대개 실패로 이어진다.
