일단 채용 공고를 보면 다른 직무도 그렇듯이 Data Scientist와 AI Engineer의 역할이 명확하게 구별해서 뽑지 않는다.하지만, 명확하게 나누자면 이렇다. Data ScientistAI EngineerUse cases- Descriptive (EDA, Clustering)- Predictive (Regression, Classfication)- Prescriptive (Decision optimization)- Recommendation EngineDataSturcturedUnstructuredModelsDifferent Models, Algorithm- scope: narrow- less parameters- less compute power- less train time (sec to ..

✅ AICE Associate는?AICE Associate는 실무에서 AI를 활용하는 역량을 습득하고 진단하기 위해 개발하였습니다.코딩(파이썬)을 활용하여 데이터 분석, 처리 및 AI 모델링의 핵심 프로세스를 기반으로 비즈니스에 AI를 적용할 수 있습니다. ✅ AICE 출제범위1. 필수 라이브러리 임포트2. 데이터 불러오기 및 저장3. 데이터 병합4. 데이터 분포 시각화5. 변수 간 관계 분석6. 이상치 제거7. 결측치 처리8. 불필요한 컬럼 삭제9. 범주형 변수 인코딩10. 데이터 분리 및 정규화11. 머신러닝 모델 학습12. 머신러닝 모델 평가13. 딥러닝 모델 설계 및 학습14. 딥러닝 모델 성능 평가 및 저장https://github.com/Hongbi-Kim/TIL/blob/master/%5B..

1. 의미- 크기(magnitude)와 방향(direction)을 가진 물리량, 차원의 공간에 존재- (대수적 정의) 수 또는 함수의 나열- 보통 데이터의 묶음(tuple), 열과 행 존재- 데이터 레코드 하나를 단독으로 벡터로 나타낼 때는 열 하나로 표시 2. 단위 벡터 - 같은 벡터라도 좌표가 다를 수 있다.- 길이가 1인 벡터, 방향o, 크기 영향x- 정규화(normalizing) : 벡터를 단위 형태로 변환하는 것 3. 벡터의 크기 = 길이 = normfrom scipy import linalglinalg.norm(a) # norm - L1 : 컴퓨터 비전에서 주로 씀 |x| = a+b+c- L2 : K-평균 클러스터링과 K-최근접 |x| = sqrt(a+b+c)linalg.norm(a, ord ..

1. 선형대수- 데이터 분석에 필요한 각종 계산을 돕는 학문- 대량의 데이터를 포함하는 복잡한 계산 과정을 간단한 수식으로 서술 할 수 있다. ① 스칼라- 실수(real number)인 숫자 중 하나 ② 벡터- 크기(magnitude)와 방향(direction)을 가진 물리량, 차원의 공간에 존재- (대수적 정의) 수 또는 함수의 나열- 보통 데이터의 묶음(tuple), 열과 행 존재- 데이터 레코드 하나를 단독으로 벡터로 나타낼 때는 열 하나로 표시 [인공지능 기초수학] #3. 벡터 with 인공지능, 파이썬[참고도서] : 모든 이미지의 저작권은 해당 링크에 있습니다. https://thebook.io/080246/part03/ch10/unit...blog.naver.com ③ 행렬- 2차원 배열- ..

1. 오차역전파란?역전파는 계산 결과와 정답의 오차를 구해서 이 오차에 관여하는 노드 값들의 가중치와 편향을 수정하는데, 이때 오차역전파(backpropagation)는 오차가 작아지는 방향으로 반복해서 수정합니다. 이 횟수가 커지면 그만큼 정확성은 높아지지만 시간이 오래 걸리는 단점이 있고, 횟수가 작아지면 정확성은 떨어지지만 시간이 단축되는 장점이 있습니다. 이 횟수의 주기를 1 에포크(epoch)라고 하며, 에포크를 늘리면서 가중치와 편향을 업데이트(학습)하여 점점 오차를 줄여 나갑니다. 2. 계산방식(1) 입력 값에 가중치를 곱한 값과 편향을 합하여 그 값이 임계치인 0을 넘으면 1을 출력하고, 그렇지 않으면 0을 출력하는 순전파 과정을 거친다.(2) 출력 값과 정답의 차이인 오차를 구한다. 역방..

[1] 머신러닝1. 머신러닝 (Machine Learning)1) 개념데이터를 학습하여 일정한 패턴을 발견하고 이를 기반으로 예측하거나 결정을 내리는 기술프로그래밍 언어로 명시적 규칙을 작성하는 대신, 데이터를 사용해서 컴퓨터가 스스로 학습할 수 있도록 합니다.2) 종류지도학습(Supervised Learning): 이미 레이블이 되어 정답을 알고 있는 학습 데이터를 이용하여 모델을 학습시키는 방식 (시험 성적 예측, 주가 예측, 스팸 메일 필터링)비지도학습(Unsupervised Learning): 정답을 모르는 학습 데이터를 기반으로 데이터 내 숨겨진 패턴을 학습하는 방식 (고객 세그먼트 군집화)강화학습(Reinforcement Learning): 주어진 문제의 답이 명확하게 떨어지지 않지만, 알고리..

기계 학습에서 희소 데이터 세트 처리 - (analyticsvidhya.com) what is saprse datasets? missing value : null값을 포함하는 데이터 유형 sparse value : feature의 실제 값을 포함하지 않는 데이터 유형. 0과 null값을 많이 포함하는 데이터셋 문제점 머신러닝 문제에 좋지 않기 때문에 반드시 적절한 처리과정이 필요하다. 하지만, 모바일 장치에 맞게 일반 네트워크의 메모리 공간을 줄이고, 딥러닝에서 계속 증가하는 네트워크의 훈련 시간을 단축 하기 때문에 경우에 따라 좋다. 1. Overfitting (과적합) 2. Avoiding Important Data (중요한 데이터 회피) 3. Space Complexity (공간 복잡성) 4. Ti..

1️⃣ Interpolation (보간법) https://terms.naver.com/entry.naver?docId=3405107&cid=47324&categoryId=47324 실변수 x의 함수 f(x)의 모양은 미지이나, 어떤 간격(등간격이나 부등간격이나 상관없다)을 가지는 2개 이상인 변수의 값 xi(i＝1,2,…,n)에 대한 함수값 f(xi)가 알려져 있을 경우, 그 사이의 임의의 x에 대한 함수값을 추정하는 것 알고 있는 데이터 값들을 이용하여 모르는 값을 추정하는 방법의 한 종류 실험이나 관측에 의하여 얻은 관측값으로부터 관측하지 않은 점에서의 값을 추정하는 경우나 로그표 등의 함수표에서 표에 없는 함수값을 구하는 등의 경우에 이용 2️⃣ scipy.interpolate https://doc..

1️⃣ DNN (심층 신경망) Deep Neural Network 입력층(input layer)과 출력층(output layer) 사이에 다중의 은닉층(hidden layer)을 포함하는 인공신경망(ANN) 활성화함수를 통해 비선형적 관계 학습 2️⃣ Forward Propagation (순전파) 입력층 → 은닉층 → 출력층 방향으로 학습 최종 출력값과 실제값의 오차 확인 오차함수 HTML 삽입 미리보기할 수 없는 소스 3️⃣ Back Propagation(역전파) 1. Back Propagation 순전파 알고리즘에서 발생한 오차를 줄이기 위해 새로운 가중치를 업데이트하고, 새로운 가중치로 다시 학습하는 과정 → 오차가 0 에 가까울 때까지 반복 Gradient Descent의 확장 개념 1) 임의의 ..

1️⃣ 로지스틱 회귀분석 1. 로지스틱 회귀분석(Logistic Regression) 지도학습, 선형 회귀모델 기반의 이진/다중 분류모형 독립변수는 연속형 자료 , 종속변수는 범주형 자료 이진분류 : 유방암 예측(Wisconsin breast cancer data) 다중분류 : 스팸 메일 분류, handwritten digits data 2. 특징 클래스 소속 확률(odds)을 이용하여 분류 활성함수 : Sigmoid 함수 이용 2️⃣ scikit-learn 실습 1. 패키지 불러오기 from sklearn.linear_model import LogisticRegreesion 2. 하이퍼파라미터 logreg = LogisticRegression(C = 1e5, solver = 'lbfgs', multi_..