티스토리

Data Science
검색하기

블로그 홈

Data Science

shinho0902.tistory.com/m

신윤호

구독자
0
방명록 방문하기

주요 글 목록

  • [태블로] [DAY4] 테이블 계산식, 시간 분석, 덤벨 차트 - 테이블 계산식 테이블 계산식에서 가장 중요한 전제 조건. 집계값을 이용해야한다! 다음 데이터를 4개년 평균매출 and 해당년도 평균매출 분기별 매출의 차이를 구해봅시다. 평균으로 시각화는 가능하나, 이 값을 이용할수가 없다. 집계된 합계 매출값을 가지고 다시 평균을 계산해야할때, 테이블 계산식을 활용한다. 수식이 위아래가 같습니다. 하지만, 해당 년도 평균 매출은 말그대로 '해당 년도'만 계산해야합니다. 그러기위해 '테이블 계산' 기능을 활용해봅니다. 다시말해, 테이블 계산식은 집계값을 기반으로 범위와 방향에 따라서 값(합계, 누계, 순위, 구성비율, 선/후행 비교...)들을 도출해낼수 있다. 다음 데이터에서 이전 달 대비, 늘었는지 줄었는지 그 차이값을 구해보려한다. 어떻게 계산되었는지 들여다보자... 공감수 0 댓글수 1 2023. 6. 8.
  • [태블로] [DAY3] (2) 매개 변수, 대시보드 동작 1. 매개 변수를 사용하여 측정값 변경하기1 & 마크 색상 표현하기 (1) 하나의 시각화에서 여러 개의 측정값을 비교해보고, (2) 선택한 카페인 함유량에 따라서 카테고리 색상이 표시되도록 합니다. 먼저, 매개변수를 추가합니다. 만든 매개변수를 이용하기 위해서 계산된 필드 '선택한 측정값'을 만들어봅시다. 이전에는 CASE-WHEN 구문을 사용했다면, 이번엔 IF-ELSEIF 구문을 사용해봅니다. 위의 결과는 합계로 집계됩니다. 카테고리 별로 분석하는 것이니 집계형태를 평균으로 바꿔야겠죠? 이제 카페인 함유량에 따라서 색상을 표현하겠습니다. 매개변수를 추가해줍니다. 만든 매개변수를 이용하기 위해서 계산된 필드 '카페인 > 선택한 카페인'을 만들어봅시다. '카페인 > 선택한 카페인' 필드를 마크-색상에 놓.. 공감수 0 댓글수 0 2023. 6. 8.
  • [태블로] [DAY3] (1) 매개 변수, 대시보드 동작 이론 영상 - day2 때, 매출 > 2억 기준으로 색상을 표시를 했었다. 여기서, '2억'을 동적으로 바꿀 수 있게 해보자. *단계 크기: 최소값에서 최대값까지 값을 선택할때, 얼마만큼의 크기를 가지고 값을 증가 시켜 나갈지를 의미함 다음과 같이 생성된다. 아직 시각화에는 적용되지 않았다. 기존에 만든 계산된 필드인 '매출 달성 여부'를 수정하여 시각화에 적용해보자. '목표 매출 금액'은 동적인 변수이기에 보라색으로 표현이 됨을 알수있다. 다음 데이터에서는 매출 top 10 제품을 보여주자. 필드를 이리저리 움직일때, ctrl+이동을하면 복사해서 이동을 한다. 여기서 top10 이 아닌 top+동적 으로 하기 위해 매개변수를 만들어보자 매개변수를 생성한 후, 이번에는 계산된 필드를 사용하는 것이 아닌,.. 공감수 0 댓글수 0 2023. 6. 7.
  • [태블로] [DAY2] 행과 집계, 필드계산 이론 영상 - '계산에 오류 있음' 오류는 행 수준과 집계 수준이 섞였을때 발생한다. 즉, 행 수준은 모두 다 더해져서 2만 퍼센트가 나온것이다. 계산된 필드를 만들어, 매출 2억이상 인곳을 색상을 표시해보자. 매출 > 2억 (X) SUM(매출) > 2억 (O) DAY2 - 스타벅스 메뉴 분석 1. 워드클라우드 칼로리가 높은 메뉴명을 분석해보자. 크기와 색상을 이용해 한눈에 볼수 있다! 2. 박스플롯 데이터 분포, 이상치를 동시에 보며 서로 다른 데이터 군을 쉽게 비교할 수 있다. 칼로리와 카페인이 둘 다 낮는것을 분석해보자 박스플롯으로 칼로리, 점 색상으로 카페인을 표현했습니다. 낮게 있을수록 칼로리가 적고, 색상이 파란색 일수록 카페인이 적어요!! 3. 계산된 필드 만들기 평균 카페인 함유량이 80m.. 공감수 0 댓글수 0 2023. 6. 6.
  • [태블로] [DAY1] 카테고리별 메뉴 분석 1. 카테고리 별 평균 칼로리와 평균 카페인 하나의 카테고리에는 여러가지 음료 메뉴가 있기에 각종 음료의 칼로리/카페인 값은 다 더해진다. 칼로리, 카페인의 집계 형태를 평균으로 바꾸는게 바람직하다. 2. 메뉴명 별 칼로리 & 카페인 트리맵은 계층 구조의 데이터를 표시하는데 용이합니다. 3. 카테고리와 메뉴명을 한 번에 살펴보기 칼로리 평균에서 도구설명 - 시트 추가 4. 당분 함유량과 칼로리 상관관계 추세선을 만들기 위해선 좌측탭 - 분석 - 추세선(선형) 을 적용한다. 5. 시군구 별 매장 분포 현황 6. 대시보드 만들기 아직까진 기초 단계고 힌트를 많이 주셔서 수월하게 진행됐다. 공감수 0 댓글수 0 2023. 6. 6.
  • [태블로] [DAY0] 기초실습교육 출처 - 신효임 컨설턴트와 함께하는 온라인 기초실습교육 ( https://youtu.be/81vkiUW4QT4 ) Tableau Prep : 데이터 준비단계 - 정제 Tableau Desktop : 데이터 분석 및 시각화 Tableau Server, Online : 결과물 공유 - 웹과 모바일을 통해서 볼 수 있다. 연결 목록- 데이터 시트 목록- 데이터 안에 있는 시트를 보여줌 두 시트를 끌어서 오른쪽 화면에 두면, 어떤 필드(속성) 기준으로 조인해서 불러올것인지 결정하는 창이 나온다. 추출 형태로 저장하면 .hyper 확장자로 결정된다. 시스템 메모리에서 처리된다. 위쪽은 차원, 아래쪽은 측정값 잘 못 분류되어 있는 경우 드래그를 통해 이동가능하다. 필드가 많아질 경우 '폴더링' 기능을 이용하면 관리.. 공감수 0 댓글수 1 2023. 6. 6.
  • [do it! bert gpt] 2장. 문장을 작은 단위로 쪼개기 2-1 토큰화란?¶ 문장을 토큰 시퀀스로 나누는 과정 단어 단위 토큰화: 어휘 집합의 크기가 커져 모델 학습이 어렵다. 문자 단위 토큰화: 미등록 토큰 문제로부터 자유롭다 각 문자 토큰이 의미 있는 단위가 되기 어렵다. 서브워드 단위 토큰화: 단어와 문자 단위 토큰화의 장점만 취한 형태 어휘 집합 크기가 커지지 않으면서도 미등록 토큰 문제를 피하고, 분석된 토큰 시퀀스가 너무 길어지지 않게 한다. 2-2 바이트 페어 인코딩(BEP)이란?¶ BEP는 사전의 크기 증가를 억제하면서도 정보를 효율적으로 압축할 수 있는 알고리즘이다. BPE 어휘 집합은 고빈도 바이그램(Bigram) 쌍을 병합하는 방식으로 구축된다. 2-3 어휘 집합 구축하기¶ In [ ]: !pip install ratsnlp In [ ]: .. 공감수 0 댓글수 0 2023. 1. 26.
  • [do it! bert gpt] 1장. 처음 만나는 자연어처리 1-1 딥러닝 기반 자연어 처리 모델¶ 자연어 처리 모델은 자연어를 입력 받아서 해당 입력이 특정 범주일 확률을 반환하는 확률 함수다. 문서 분류 (document classification) 문장 쌍 분류 (sentence pair classification) 개체명 인식 (named entity recognition) 질의응답 (question answering) 문장 생성 (sentence generation) 학습이란 출력이 정답에 가까워지도록 모델을 업데이트하는 과정을 말한다. 1-2 트랜스퍼 러닝 - 전이학습 (transfer learning)¶ Transfer learning 이란 특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용하는 기법이다. 업스트림 태스크 (upstram task).. 공감수 0 댓글수 1 2023. 1. 26.
  • [이코테] p149 - 음료수 얼려먹기 bfs from collections import deque def bfs(x, y): que = deque([(x,y)]) array[x][y] == 1 # array == visited # print(que) flag = 0 while que: x, y = que.popleft() for dx, dy in vec: nx, ny = x+dx, y+dy if nx=n or ny=m: continue if array[nx][ny] == 0: # print(nx, ny) que.append([nx, ny]) array[nx][ny] = 1 flag = 1 return flag n, m = map(int,input().split()) array = [] for i in range(n): array.append(lis.. 공감수 0 댓글수 0 2022. 11. 19.
  • [파이썬] 1,2 차원 배열 초기화 및 입력 1차원 배열 입력받기 (공백기준) arr = list(map(int,input().split())) 1차원 배열 0 으로 초기화 하기 arr = [0] * 10 2차원 배열 입력받기 (공백기준, n행) arr = [list(map(int,input().split())) for _ in range(n)] 2차원 배열 0 으로 초기화 하기 (rows X cols) # 2차원 배열 초기화 rows = 10 cols = 5 arr = [[0 for j in range(cols)] for i in range(rows)] 공감수 0 댓글수 1 2022. 5. 28.
  • [파이썬] 코테 입력: input() VS sys.stdin.readline() 출처와 원문내용 그대로 입니다. https://velog.io/@yeseolee/Python-%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EC%9E%85%EB%A0%A5-%EC%A0%95%EB%A6%ACsys.stdin.readline [Python 문법] 파이썬 입력 받기(sys.stdin.readline) 파이썬으로 코딩 테스트를 준비한다면, 반드시 알아야 할 입력방식인 sys.stdin.readline()에 대한 정리 입니다. velog.io 💡 input()대신 sys.stdin.readline()을 사용하는 이유 한 두줄 입력받는 문제들과 다르게, 반복문으로 여러줄을 입력 받아야 할 때는 input()으로 입력 받는다면 시간초과가 발생할 수 있습니다. 대표적인 예시가 백준 BOJ 1555.. 공감수 1 댓글수 0 2022. 5. 20.
  • [파이썬] 백준 10816: from collections import Counter https://www.acmicpc.net/problem/10816 10816번: 숫자 카드 2 첫째 줄에 상근이가 가지고 있는 숫자 카드의 개수 N(1 ≤ N ≤ 500,000)이 주어진다. 둘째 줄에는 숫자 카드에 적혀있는 정수가 주어진다. 숫자 카드에 적혀있는 수는 -10,000,000보다 크거나 같고, 10, www.acmicpc.net 오답 - 시간초과 N = int(input()) org_list = list(map(int,input().split())) M = int(input()) new_list = list(map(int,input().split())) for num in new_list: cnt = org_list.count(num) print(cnt,end=' ') 처음에 숫자 카드들.. 공감수 0 댓글수 0 2022. 5. 19.
  • [파이썬] 백준 2164 : 리스트는 큐로 이용하면 안된다. [파이썬] 백준 2164 : 리스트는 큐로 이용하면 안된다. 오답 - 시간초과 n = int(input()) nums = [] for i in range(1,n+1): nums.append(i) while len(nums) > 1: nums.pop(0) nums.append(nums.pop(0)) # print(nums) print(nums[0]) 반복도 한번만 쓰고, 기본 내장함수로 쉽게 풀어냈구나 싶었다. 하지만 시간초과가 났다. 찾아보니 첫번째 요소 pop에 대해서 리스트는 O(n), Deque는 O(1) 이 걸린다. Deque List 구조 및 원리를 살펴보자. 리스트는 첫번째 원소를 제거하는 - pop(0) 을 하면 남아있던 원소들이 한칸씩 이동해서 O(n) 시간이 걸린다. ( pop()의 경우.. 공감수 0 댓글수 0 2022. 5. 18.
  • [파이썬] 백준 1920 : list와 set의 시간복잡도 [파이썬] 백준 1920 : list와 set의 시간복잡도 문제 N개의 정수 A[1], A[2], …, A[N]이 주어져 있을 때, 이 안에 X라는 정수가 존재하는지 알아내는 프로그램을 작성하시오. 입력 첫째 줄에 자연수 N(1 ≤ N ≤ 100,000)이 주어진다. 다음 줄에는 N개의 정수 A[1], A[2], …, A[N]이 주어진다. 다음 줄에는 M(1 ≤ M ≤ 100,000)이 주어진다. 다음 줄에는 M개의 수들이 주어지는데, 이 수들이 A안에 존재하는지 알아내면 된다. 모든 정수의 범위는 -231 보다 크거나 같고 231보다 작다. 출력 M개의 줄에 답을 출력한다. 존재하면 1을, 존재하지 않으면 0을 출력한다. 예제 입력 1 5 4 1 5 2 3 5 1 3 7 9 5 예제 출력 1 1 1 0.. 공감수 0 댓글수 0 2022. 5. 18.
  • [디버깅] 형태소 분석 메모리 문제 남양주 SNS 데이터 분석 약 72만개의 SNS 크롤링된 데이터를 형태소 분석하고 명사에 따라 카운팅을 해야했다. 문제는 형태소 분석시 샘플데이터로는 수월하게 작동했지만 전체를 한꺼번에 분석을 시도했더니 데이터양이 많아 시간이 오래걸리고, 아무런 응답도 되지않고, 메모리 오류가 발생했다. 이 오류는 메모리에 값들이 누적되면서 메모리가 초과되는 이슈가 발생한것으로 파악된다. 이를 해결하기 위해 분석양을 줄여가면서 10만개 까지는 한 번에 분석이 가능한것으로 파악되었다. 루프를 한번 돌때마다 해당 루프에서 분석한 row에 대해서 명사의 카운트를 반환하는 형태의 코드를 큰 틀에서 최대한 바꾸지 않고 해결하는 방안을 찾는 방법을 모색했다. 따라서 전체 데이터를 N등분하여 루프를 돌리기로 했다. 또한 한 루프를 .. 공감수 0 댓글수 0 2022. 5. 11.
  • [SWEA] 2005번 파스칼의 삼각형 파이썬(Python) SW expert Academy SWEA 파스칼의 삼각형 파이썬(Python) D2 2005번 https://swexpertacademy.com/main/code/problem/problemDetail.do?contestProbId=AV5P0-h6Ak4DFAUq SW Expert Academy SW 프로그래밍 역량 강화에 도움이 되는 다양한 학습 컨텐츠를 확인하세요! swexpertacademy.com arr : 기존 리스트 next_arr : 업데이트된 리스트 # 2005 파스칼의 삼각형 # 케이스수 입력 T = int(input()) for t in range(T): # 삼각형 크기 입력 N = int(input()) # 번호출력 print(f'#{t+1}') # 첫째줄 arr = [1] print(.. 공감수 0 댓글수 0 2022. 5. 5.
  • [빅분기] 빅분기 3회 실기 합격 공감수 0 댓글수 0 2021. 12. 22.
  • [ADsP] APsP 31회 합격 공감수 0 댓글수 0 2021. 12. 17.
  • [SQLD] SQLD 43회 합격 공감수 0 댓글수 0 2021. 12. 17.
  • [빅분기] 빅분기 3회 필기 합격 공감수 0 댓글수 0 2021. 12. 17.
  • [빅분기] 실기 주요 코드 정리 TIP¶ 경고 메세지 뜰경우¶ 분류 모델 학습중 경고가 뜰경우 In [ ]: # values.ravel() model.fit(X_TRAIN, Y_TRAIN.values.ravel() ) 처음부터 사용하지 말고, 문제 해결 불가시 사용 In [ ]: import warnings warnings.filterwarnings(action='ignore') 데이터프레임 전체 다 보고 싶을때¶ In [ ]: import pandas as pd pd.options.display.max_columns = None 탐색¶ In [ ]: # 요약정보 확인 # print(data.info()) In [ ]: # 기초통계량 확인 # print(data.describe()) In [ ]: # 상관분석 # print(data.c.. 공감수 0 댓글수 0 2021. 12. 3.
  • [빅분기] 실기 작업형2 - 분류 모델 (2회기출) 참고 데이터 https://www.kaggle.com/kukuroo3/ecommerce-shipping-data-competition-form Commerce Shipping Data (competition form) Classification problem www.kaggle.com In [1]: import pandas as pd x_train = pd.read_csv('../input/ecommerce-shipping-data-competition-form/X_train.csv') x_test = pd.read_csv('../input/ecommerce-shipping-data-competition-form/X_test.csv') y_train = pd.read_csv('../input/ecomme.. 공감수 0 댓글수 0 2021. 12. 3.
  • [빅분기] 실기 작업형1 - 각종 메모 # 결측치 삭제방법 # df 전체에서 결측값이 있으면 해당 행 삭제 data = data.dropna() # 해당 하는 열의 결측값이 있으면 해당 행 삭제 data['RM'] = data['RM'].dropna() # 평균 대체 : 모든 값을 각 변수의 평균으로 대체함. data_mean = data.fillna(data.mean()) # CHAS 칼럼과 RAD 칼럼 순으로 그룹을 지은후 각 그룹의 데이터 개수를 구하기 data_g = data.groupby(['CHAS','RAD'])['RAD'].count() # A 컬럼 그룹화 B 컬럼의 갯수? data_g = data.groupby(['A'])['B'].count() 공감수 0 댓글수 0 2021. 12. 3.
  • [빅분기] 실기 작업형2- 분류 모델 (dataq 공식예제) 아래는 백화점 고객의 1년 간 구매 데이터이다. 고객 3500명에 대한 학습용 데이터(y_train.csv, X_train.csv)를 이용하여 성별예측 모형을 마든 후, 이를 평가용 데이터(X_test.csv)에 적용하여 얻은 2482명 고객의 성별 예측값(남자일 확률)을 다음과 같은 형식(custid, gender)의 CSV 파일로 생성하시오. (제출한 모델의 성능은 ROC-AUC 평가지표에 따라 채점) # 데이터 읽기 import pandas as pd x_train = pd.read_csv('/content/drive/MyDrive/Colab Notebooks/빅분기 실기/프리렉/data/x_train.csv',encoding='cp949') x_test = pd.read_cs.. 공감수 0 댓글수 0 2021. 12. 2.
  • [빅분기] 실기 작업형2- 예측 모델 (프리렉 p445) * 프리렉 교재를 참고하였으며, 교재와 다른 내용이 많이 포함되어 있습니다. 고객 10,866건에 대한 학습용데이터(x_train,y_train)를 이용하여 자전거 대여량 예측 모형을 만든다. 생성한 예측 모형으로 평가용데이터(x_test)에 해당하는 6,493건의 자전거 대여량 예측값을 csv 파일로 생성하시오 (제출한 모델의 성능은 R^2 score 평가지표에 따라 채점) import pandas as pd x_train=pd.read_csv('/content/drive/MyDrive/Colab Notebooks/빅분기 실기/프리렉/data/bike_x_train.csv',encoding='cp949') y_train=pd.read_csv('/content/drive/MyDriv.. 공감수 0 댓글수 0 2021. 12. 2.
  • [빅분기] 실기 단답형 100제 문제1. 확률변수가 기댓값으로부터 얼마나 떨어진 곳에 분포하는지 가늠하는 숫자는 무엇인가요? 답: 분산 문제2. 인공신경망의 출력값이 원하는 결과와 다를 경우, 가중치 갱신을 통해 오차를 최소화 시키도록 반복수행하여 신경망을 학습시키는 알고리즘이 무엇인가요 ? 답: 역전파 알고리즘 문제3. 차원축소와 군집화를 동시에 수행하며, 고차원으로 표현된 데이터를 저차원으로 변환하여 보는 비지도학습 기반 클러스터링 기법은 무엇인가요 ? 답: 자기 조직화 지도(self organization map) - SOM 문제4. 많은 데이터를 그림을 이용하여 집합의 범위와 중앙값을 빠르게 확인할 수 있으며, 또한 통계적으로 이상값이 있는지 빠르게 확인이 가능한 시각화 기법은 무엇인가요 ? 답: 박스플롯 문제5. 학습 데이터에.. 공감수 1 댓글수 0 2021. 11. 30.
  • [빅분기] 빅분기 2회 실기 단답형 기출문제 빅데이터분석기사 2회 실기 단답형 기출문제 1. 데이터 정제 과정에서 처리해야 하는 값으로, 데이터가 정상의 범주에서 벗어난 값을 의미하는 것은 무엇인가? 이상치 2. 결측값 처리를 위한 단순 대치법에서 관측 또는 실험으로 얻어진 자료를 평균값으로 결측값을 대치하는 방법은? 평균대치법 3. 모델에서 외적인 요소로 데이터 분석을 통해 얻어지는 값이 아니라 사용자가 직접 설정해주거나 알고리즘 생성자가 직접 만드는 값은 무엇인가? 하이퍼 파라미터 4. 다음이 설명하는 개념은 무엇인가? - 데이터에서 표식(라벨)이 없는 경우가 많다. - 예측의 문제 보다는 주로 현상의 설명이나 특징추출, 패턴 도출 등의 문제에 사용된다. - 대표적인 기법은 군집화, 차원축소기법, 연관관계분석, 자율학습 인공신경망의 기법이 있다.. 공감수 0 댓글수 0 2021. 11. 24.
  • SNS 텍스트 분석(konlpy) 및 워드클라우드 - 모양, 대용량 개선 sns 텍스트 분석¶ 필요한 모듈/라이브러리 불러오기 In [ ]: import csv import pandas as pd import tweepy import konlpy import sys import numpy as np import os from konlpy.tag import Okt from PIL import Image from collections import Counter from wordcloud import STOPWORDS from wordcloud import WordCloud 데이터 불러오기¶ In [ ]: # 데이터 불러오기 df = pd.read_csv("sns_data_namyangju.csv",encoding='utf-8') #전체 df.head(5) Out[ ]: 원시데이.. 공감수 0 댓글수 0 2021. 11. 8.
  • CSV 파일 병합 하기 여러 개의 CSV 파일 합치기 (행)¶ In [1]: import glob import pandas as pd 헤더가 있을때¶ In [2]: # 합쳐질 파일 형태 pd.read_csv('sample_marge/sample1.csv',encoding='cp949') Out[2]: 구분 이름 0 1번째 파일 A 1 1번째 파일 B 2 1번째 파일 C In [3]: path = 'D:/Jupyter/read_files_test/sample_marge/' merge_path = 'sample_merge_result_header_lib.csv' In [4]: file_list = glob.glob(path + '*') combined_csv = pd.concat([pd.read_csv(f,encoding='cp9.. 공감수 0 댓글수 0 2021. 10. 21.
  • SNS 텍스트 분석(konlpy) 및 워드클라우드 - 랜덤표본 sns 텍스트 분석¶ In [3]: import csv import pandas as pd import tweepy import konlpy import sys import numpy as np from konlpy.tag import Okt from collections import Counter from wordcloud import STOPWORDS from wordcloud import WordCloud from IPython.display import Image 데이터 불러오기¶ In [99]: # 데이터 불러오기 #df = pd.read_csv("TC_SN_NAMYANGJU__WEB_DOC_20210106142300/TC_SN_NAMYANGJU__WEB_DOC_20210106142300_sam.. 공감수 0 댓글수 0 2021. 10. 15.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.