[AWS] python 라이브러리 lambda layer 패키징
정신차려 이 각박한 import error 지옥에서
Posts by Category
- AWS 54
- Deep Learning 17
- Algorithm 13
- 추천시스템 10
- Airflow 9
- DataPipeline 9
- DB 5
- MachineLearning 5
- serverless 4
- Tableau 2
- Data Analysis 2
- Vision 2
- Object Detection 2
- python 2
- git 2
- BatchScript 2
- Feature Importance 2
- Feature Selection 2
- 보안 2
- NLP 1
- 공공API 1
- Data Collect 1
- Kaggle 1
- Disaster Recovery 1
- 에너지수요예측 1
- Data Engineering 1
- ComputerScience 1
- EC2 1
- CICD 1
- ECR 1
- docker 1
- API Gateway 1
- CloudWatch 1
- springboot 1
- SSL 1
- SSM 1
AWS
[보안] SSM으로 콘솔에서 EC2 원격 쉘 접속
보안그룹 수정 없이 VPC 내부의 EC2 쉘 접속 해보자
[보안] 타사 인증서 AWS ALB SSL 적용
타사 인증서를 AWS ACM에 등록하고 ALB에 적용해보자
[AWS] API Gateway 호출 기록 로깅
API Gateway API 호출 기록 CloudWatch 로깅
[CICD] git-jenkins-ECR로 자동배포 구축하기
스테이징/운영 환경에서 git-jenkins-ECR로 안전한 자동배포 파이프라인 구축해보자..
[AWS] EC2 재기동 시 cloudinit으로 기존 애플리케이션 자동 실행하기
EC2 재기동 시 cloudinit으로 기존 애플리케이션 자동 실행하기
[AWS] S3 대용량 파일 리스트 조회 list_objects_v2
list_objects_v2 paginator를 이용하여 여러 파티션으로 분할된 100만개 이상의 파일 리스트 조회
AWS Lambda limit 극복방안
AWS Lambda limit 극복방안
[Workflow] AWS 데이터 배치 수집 python / spark 비교
AWS glue job으로 데이터 배치 수집
CDC(Change Data Capture)를 위한 glue job 북마크 사전 조건
CDC(Change Data Capture)를 위한 glue job 북마크 사전 조건
S3-Glue-Athena 연동 시 Athena 스키마 미스매치 문제
S3-Glue-Athena 연동 시 Athena 스키마 미스매치 문제
AWS Glue 데이터 카탈로그 생성시 iso8601 timestamp를 HIVE datetime으로 인식시키는 방법
Glue 데이터 카탈로그 생성시 iso8601 timestamp를 HIVE datetime으로 인식시키는 방법
AWS RDS Aurora 인스턴스 한글설정(utf8)
RDS Aurora 인스턴스의 한글 설정
로컬DB 일배치로 S3에 파일 전송하기
테이블을 1일 1회 백업해서 파일로 S3에 전송한다
보안된 내부망 rds DB클라이언트 접속
private 망에 위치한 RDS를 putty가 아닌 DB 클라이언트에서 접속
serverless framework에서 python 쓰기
sls-python-requirements 플러그인으로 파이썬 패키징하기
serverless framework 환경 설정 serverless.yml
serverless.yml 작성을 통해 배포 환경 설정을 해보자
serverless framework 시작하기
serverless framework를 설치하고, AWS와 연결해보자
serverless framework로 AWS에 데이터 파이프라인 구축하기
serverless framework로 AWS 데이터 파이프라인 구축 및 배포를 한번에 해보자
CloudFront vs. Global Accelerator
AWS CloudFront, Global Accelerator
Athena vs. Glue
AWS Athena, Glue
Application
AWS Elastic Transcoder, API Gateway, Kinesis, IoT Core
Trusted Advisor
AWS Trusted Advisor
DMS
AWS Database Migration Service
Shared Responsibility Model
AWS Shared Responsibility Model
EFS vs. FSx
AWS EFS, FSx
IAM & Cognito
AWS HA & Disaster Recovery
EMR
AWS EMR(Elastic Map Reduce)
Fargate
AWS Fargate
ElastiCache
AWS ElastiCache
DDos
AWS에서 DDos를 대처하는 방법
HA
AWS HA & Disaster Recovery
ELB
AWS Load Balancer
CloudFormation vs. ElasticBeanstalk vs. OpsWorks
AWS CloudFormation, ElasticBeanstalk, OpsWorks
Snowball
AWS Snowball
Directory Service
AWS Directory Service
CloudWatch vs. CloudTrail
AWS CloudWatch, CloudTrail
RAM
AWS Resource Access Manager service
KMS
AWS KMS(Key Management Service)
Trusted Advisor
AWS Trusted Advisor
AWS SAA Workshop
AWS SAA Workshop 기록
Route53
AWS Route53
Redshift
AWS Redshift
DynamoDB
AWS DynamoDB
Lambda
AWS Lambda
AutoScaling
AWS AutoScaling
S3
AWS S3
RDS
AWS RDS
Aurora
AWS RDBMS Aurora
EBS
AWS EBS(Elastic Block Store)
CloudHSM
AWS Security CloudHSM
EC2
AWS EC2
Storage Gateway
AWS Storage Gateway
SQS vs. SWF vs. SNS vs. MQ vs. StepFunctions
AWS Message Que
Deep Learning
[논문구현]Attentional factorization machines: Learning the weight of feature interactions via attention networks(2017)
Xiao, Jun, et al. “Attentional factorization machines: Learning the weight of feature interactions via attention networks.” arXiv preprint arXiv:1708.04617 (...
[논문구현]Feature Importance Ranking for Deep Learning(2020)
Wojtas, Maksymilian, and Ke Chen. “Feature importance ranking for deep learning.” arXiv preprint arXiv:2010.08973 (2020).
[논문리뷰]Feature importance ranking for deep learning(2020)
Wojtas, Maksymilian, and Ke Chen. “Feature importance ranking for deep learning.” arXiv preprint arXiv:2010.08973 (2020).
[논문리뷰]Autofis: Automatic feature interaction selection in factorization models for click-through rate prediction(2020)
Liu, Bin, et al. “Autofis: Automatic feature interaction selection in factorization models for click-through rate prediction.” Proceedings of the 26th ACM SI...
[논문리뷰]Attentional factorization machines: Learning the weight of feature interactions via attention networks(2017)
Xiao, Jun, et al. “Attentional factorization machines: Learning the weight of feature interactions via attention networks.” arXiv preprint arXiv:1708.04617 (...
[Vision/Object Detection]What is the best model for Face Mask Detection? - 논문작성
코로나 시대, 객체 탐지 모델 7개를 비교하여 마스크 착용 유무 탐지에 가장 좋은 모델을 찾아본다.
[논문구현]DeepFM: A Factorization-Machine based Neural Networks for CTR Prediction(2017)
Guo, Huifeng, et al. “DeepFM: a factorization-machine based neural network for CTR prediction.” arXiv preprint arXiv:1703.04247 (2017).
[논문구현]Wide & Deep Learning for Recommender System(2016)
Cheng, Heng-Tze, et al. “Wide & deep learning for recommender systems.” Proceedings of the 1st workshop on deep learning for recommender systems. 2016.
[논문리뷰]DeepFM: A Factorization-Machine based Neural Networks for CTR Prediction(2017)
Guo, Huifeng, et al. “DeepFM: a factorization-machine based neural network for CTR prediction.” arXiv preprint arXiv:1703.04247 (2017).
[논문리뷰]BEM-DDPG : Towards optimal control of air handling units using deep reinforcement learning and recurrent neural network(2020)
강화학습 DDPG 알고리즘 기반의 빌딩 에너지 소비 예측 및 제어 프레임워크
[논문리뷰]BEM-A3C : Practical Implementation and Evaluation of Deep Reinforcement Learning Control for a Radiant Heating System(2018)
강화학습 AC3 알고리즘 기반의 빌딩 에너지 소비 예측 및 제어 프레임워크
[논문리뷰]Whole building energy model for HVAC optimal control: A practical framework based on deep reinforcement learning(2019)
강화학습 기반의 빌딩 에너지 소비 예측 및 제어 프레임워크
[논문리뷰]Predicting residential energy consumption using CNN-LSTM neural networks(2019)
빌딩 에너지 소비 예측 method 리뷰
[Vision/Object Detection]What is the best model for Face Mask Detection? - 코드구현
코로나 시대, 객체 탐지 모델 7개를 비교하여 마스크 착용 유무 탐지에 가장 좋은 모델을 찾아본다.
[논문리뷰] Label Efficient Visual Abstractions for Autonomous Driving(2020)
BEHL, Aseem, et al. Label Efficient Visual Abstractions for Autonomous Driving. arXiv preprint arXiv:2005.10091, 2020.
[논문리뷰] Rainbow: Combining Improvements in Deep Reinforcement Learning(2018)
Hessel, Matteo, et al. “Rainbow: Combining improvements in deep reinforcement learning.” Thirty-Second AAAI Conference on Artificial Intelligence. 2018..
[논문리뷰] Human level control through deep reinforcement learning(2015)
Mnih, Volodymyr, et al. “Human-level control through deep reinforcement learning.” Nature 518.7540 (2015): 529-533.
Algorithm
[알고리즘] Leetcode-연결리스트
연결리스트 관련 Leetcode 문제를 풀어보자
[알고리즘] Leetcode-스택
스택 관련 Leetcode 문제를 풀어보자
[알고리즘]Leetcode-배열
배열 관련 Leetcode 문제를 풀어보자
[알고리즘] 병합정렬
병합정렬을 반복 함수로 구현하라
[알고리즘] Kruskal 최대비용 신장트리
Kruskal 최대비용 신장트리 구현
[알고리즘] 최대힙
자신이 할 일에 우선순위를 매겨서 힙에 저장했다가 우선순위 순으로 꺼내서 출력하는 프로그램을 작성하여 보자.
[알고리즘] 연결 리스트 (4)
연결 리스트에서 특정한 데이터 값을 갖는 노드의 개수를 계산하는 함수를 작성하라.
[알고리즘] 연결 리스트 (3)
연결 리스트에 정수가 저장되어 있다. 연결 리스트의 모든 데이터 값을 더한 합을 출력하는 프로그램을 작성하라.
[알고리즘] 연결 리스트 (2)
생성된 연결 리스트의 맨 처음에 있는 노드를 삭제하는 프로그램을 작성하라.
[알고리즘] 연결 리스트 (1)
연결 리스트에 사용자가 입력하는 값을 저장했다가 출력하는 프로그램을 작성하라.
[알고리즘] 연결된 원형큐
사용자로부터 양의 정수들을 입력받아서 연결된 큐에 저장하고, 결과를 다음과 같이 출력하는 프로그램을 작성하라.
[알고리즘] Deque을 이용한 회문(palindrome) 작성
덱을 이용하여 주어진 문자열이 회문인지 아닌지를 결정하는 프로그램을 작성하라.
[알고리즘] Stack을 이용한 회문(palindrome) 작성
스택을 이용하여 주어진 문자열이 회문인지 아닌지를 결정하는 프로그램을 작성하라.
추천시스템
[논문구현]Attentional factorization machines: Learning the weight of feature interactions via attention networks(2017)
Xiao, Jun, et al. “Attentional factorization machines: Learning the weight of feature interactions via attention networks.” arXiv preprint arXiv:1708.04617 (...
[논문구현]Feature Importance Ranking for Deep Learning(2020)
Wojtas, Maksymilian, and Ke Chen. “Feature importance ranking for deep learning.” arXiv preprint arXiv:2010.08973 (2020).
[논문리뷰]Feature importance ranking for deep learning(2020)
Wojtas, Maksymilian, and Ke Chen. “Feature importance ranking for deep learning.” arXiv preprint arXiv:2010.08973 (2020).
[논문리뷰]Autofis: Automatic feature interaction selection in factorization models for click-through rate prediction(2020)
Liu, Bin, et al. “Autofis: Automatic feature interaction selection in factorization models for click-through rate prediction.” Proceedings of the 26th ACM SI...
[논문리뷰]Attentional factorization machines: Learning the weight of feature interactions via attention networks(2017)
Xiao, Jun, et al. “Attentional factorization machines: Learning the weight of feature interactions via attention networks.” arXiv preprint arXiv:1708.04617 (...
[논문구현]DeepFM: A Factorization-Machine based Neural Networks for CTR Prediction(2017)
Guo, Huifeng, et al. “DeepFM: a factorization-machine based neural network for CTR prediction.” arXiv preprint arXiv:1703.04247 (2017).
[논문구현]Wide & Deep Learning for Recommender System(2016)
Cheng, Heng-Tze, et al. “Wide & deep learning for recommender systems.” Proceedings of the 1st workshop on deep learning for recommender systems. 2016.
[논문구현]Factorization Machines(2010)
S. Rendle, “Factorization Machines,” 2010 IEEE International Conference on Data Mining, 2010, pp. 995-1000, doi: 10.1109/ICDM.2010.127.
[논문리뷰]Factorization Machines(2010)
S. Rendle, “Factorization Machines,” 2010 IEEE International Conference on Data Mining, 2010, pp. 995-1000, doi: 10.1109/ICDM.2010.127.
[논문리뷰]DeepFM: A Factorization-Machine based Neural Networks for CTR Prediction(2017)
Guo, Huifeng, et al. “DeepFM: a factorization-machine based neural network for CTR prediction.” arXiv preprint arXiv:1703.04247 (2017).
Airflow
Airflow Xcoms로 task간 데이터 주고받기
Xcoms는 DAG 내의 task 사이에서 데이터를 전달하기 위해 사용한다
Airflow BranchOperator로 task를 조건에 따라 실행하기
BranchPythonOperator로 Airflow task를 조건에 따라 분기 실행하기
Airflow TaskGroup 사용하기
TaskGroup으로 모듈식 워크플로우를 구성해보자
Airflow Celery Executor 시작하기
celery로 worker에 여러 task 분배하기
Airflow 여러개의 task 동시에 실행하기
parallel 구성, LocalExecutor 사용하여 멀티 태스크 동시
Airflow start_date, execution_date, backfill
Operator/Provider를 활용하여 DAG 구성, 파이프라인 구성
Airflow DAG 구성하기
Operator/Provider를 활용하여 DAG 구성, 파이프라인 구성
Airflow cli 시작하기
Airflow 설치부터 환경설정까지
Airflow Posts
Airflow 관련 포스팅 TOC
DataPipeline
Airflow Xcoms로 task간 데이터 주고받기
Xcoms는 DAG 내의 task 사이에서 데이터를 전달하기 위해 사용한다
Airflow BranchOperator로 task를 조건에 따라 실행하기
BranchPythonOperator로 Airflow task를 조건에 따라 분기 실행하기
Airflow TaskGroup 사용하기
TaskGroup으로 모듈식 워크플로우를 구성해보자
Airflow Celery Executor 시작하기
celery로 worker에 여러 task 분배하기
Airflow 여러개의 task 동시에 실행하기
parallel 구성, LocalExecutor 사용하여 멀티 태스크 동시
Airflow start_date, execution_date, backfill
Operator/Provider를 활용하여 DAG 구성, 파이프라인 구성
Airflow DAG 구성하기
Operator/Provider를 활용하여 DAG 구성, 파이프라인 구성
Airflow cli 시작하기
Airflow 설치부터 환경설정까지
Airflow Posts
Airflow 관련 포스팅 TOC
DB
속도 개선을 위한 DB 인덱싱 및 비동기 적용
통계 화면 속도 개선을 위한 DB 인덱싱 및 비동기 프로그래밍
S3-Glue-Athena 연동 시 Athena 스키마 미스매치 문제
S3-Glue-Athena 연동 시 Athena 스키마 미스매치 문제
AWS RDS Aurora 인스턴스 한글설정(utf8)
RDS Aurora 인스턴스의 한글 설정
로컬DB 일배치로 S3에 파일 전송하기
테이블을 1일 1회 백업해서 파일로 S3에 전송한다
보안된 내부망 rds DB클라이언트 접속
private 망에 위치한 RDS를 putty가 아닌 DB 클라이언트에서 접속
MachineLearning
Linear, RF, XGB, LGB를 이용한 아파트 에너지 사용량 예측 모델링
Linear, RF, XGB, LGB를 이용한 아파트 에너지 사용량 예측 모델링
[논문구현]Factorization Machines(2010)
S. Rendle, “Factorization Machines,” 2010 IEEE International Conference on Data Mining, 2010, pp. 995-1000, doi: 10.1109/ICDM.2010.127.
[논문리뷰]Factorization Machines(2010)
S. Rendle, “Factorization Machines,” 2010 IEEE International Conference on Data Mining, 2010, pp. 995-1000, doi: 10.1109/ICDM.2010.127.
고객이탈예측 with Kaggle API, SMOTE
SMOTE를 활용한 불균형 데이터 예측
불균형 데이터를 처리하는 다양한 머신러닝 기법
불균형 데이터 판별 문제에서 주로 쓰이는 머신러닝 기법을 살펴본다
serverless
serverless framework에서 python 쓰기
sls-python-requirements 플러그인으로 파이썬 패키징하기
serverless framework 환경 설정 serverless.yml
serverless.yml 작성을 통해 배포 환경 설정을 해보자
serverless framework 시작하기
serverless framework를 설치하고, AWS와 연결해보자
serverless framework로 AWS에 데이터 파이프라인 구축하기
serverless framework로 AWS 데이터 파이프라인 구축 및 배포를 한번에 해보자
Tableau
Tableau Server 백업 스크립트
Tableau Server의 DB와 설정을 백업하는 스크립트
Tableau SSO 토큰 발급 API 만들기
Tableau SSO 토큰을 발급하는 API를 springboot 기반으로 만든다
Data Analysis
고객이탈예측 with Kaggle API, SMOTE
SMOTE를 활용한 불균형 데이터 예측
[NLP] NLP라이브러리 없는 자연어 처리
NLP 라이브러리 없는 자연어 처리를 통한 텍스트 분석
Vision
[Vision/Object Detection]What is the best model for Face Mask Detection? - 논문작성
코로나 시대, 객체 탐지 모델 7개를 비교하여 마스크 착용 유무 탐지에 가장 좋은 모델을 찾아본다.
[Vision/Object Detection]What is the best model for Face Mask Detection? - 코드구현
코로나 시대, 객체 탐지 모델 7개를 비교하여 마스크 착용 유무 탐지에 가장 좋은 모델을 찾아본다.
Object Detection
[Vision/Object Detection]What is the best model for Face Mask Detection? - 논문작성
코로나 시대, 객체 탐지 모델 7개를 비교하여 마스크 착용 유무 탐지에 가장 좋은 모델을 찾아본다.
[Vision/Object Detection]What is the best model for Face Mask Detection? - 코드구현
코로나 시대, 객체 탐지 모델 7개를 비교하여 마스크 착용 유무 탐지에 가장 좋은 모델을 찾아본다.
python
[AWS] python 라이브러리 lambda layer 패키징
정신차려 이 각박한 import error 지옥에서
ipynb를 깃블로그 md 파일로 변환하기
주피터 노트북 파일을 md파일로 변환해서 깃블로그에 업로드하자
git
[CICD] git-jenkins-ECR로 자동배포 구축하기
스테이징/운영 환경에서 git-jenkins-ECR로 안전한 자동배포 파이프라인 구축해보자..
자주쓰는 git-flow, git convention cheatsheet
git으로 자주 쓰는 것들 정리해둠
BatchScript
Windows Dummy File 만들기
테스트에 쓸 Dummy File을 만드는 명령어
Tableau Server 백업 스크립트
Tableau Server의 DB와 설정을 백업하는 스크립트
Feature Importance
[논문구현]Feature Importance Ranking for Deep Learning(2020)
Wojtas, Maksymilian, and Ke Chen. “Feature importance ranking for deep learning.” arXiv preprint arXiv:2010.08973 (2020).
[논문리뷰]Feature importance ranking for deep learning(2020)
Wojtas, Maksymilian, and Ke Chen. “Feature importance ranking for deep learning.” arXiv preprint arXiv:2010.08973 (2020).
Feature Selection
[논문구현]Feature Importance Ranking for Deep Learning(2020)
Wojtas, Maksymilian, and Ke Chen. “Feature importance ranking for deep learning.” arXiv preprint arXiv:2010.08973 (2020).
[논문리뷰]Feature importance ranking for deep learning(2020)
Wojtas, Maksymilian, and Ke Chen. “Feature importance ranking for deep learning.” arXiv preprint arXiv:2010.08973 (2020).
보안
[보안] SSM으로 콘솔에서 EC2 원격 쉘 접속
보안그룹 수정 없이 VPC 내부의 EC2 쉘 접속 해보자
[보안] 타사 인증서 AWS ALB SSL 적용
타사 인증서를 AWS ACM에 등록하고 ALB에 적용해보자
NLP
[NLP] NLP라이브러리 없는 자연어 처리
NLP 라이브러리 없는 자연어 처리를 통한 텍스트 분석
공공API
API로 서울시 대기질 정보 수집
서울시의 대기질 정보를 서울데이터광장API, 공공데이터포털API를 통해 수집한다
Data Collect
API로 서울시 대기질 정보 수집
서울시의 대기질 정보를 서울데이터광장API, 공공데이터포털API를 통해 수집한다
Kaggle
고객이탈예측 with Kaggle API, SMOTE
SMOTE를 활용한 불균형 데이터 예측
Disaster Recovery
Tableau Server 백업 스크립트
Tableau Server의 DB와 설정을 백업하는 스크립트
에너지수요예측
Linear, RF, XGB, LGB를 이용한 아파트 에너지 사용량 예측 모델링
Linear, RF, XGB, LGB를 이용한 아파트 에너지 사용량 예측 모델링
Data Engineering
[책] 빅데이터를 지탱하는 기술
데이터 엔지니어 필수도서 ‘빅데이터를 지탱하는 기술’ 정리본
ComputerScience
[CS] Computer Architecture
Computer Science 1) Computer Architecture
EC2
[AWS] EC2 재기동 시 cloudinit으로 기존 애플리케이션 자동 실행하기
EC2 재기동 시 cloudinit으로 기존 애플리케이션 자동 실행하기
CICD
[CICD] git-jenkins-ECR로 자동배포 구축하기
스테이징/운영 환경에서 git-jenkins-ECR로 안전한 자동배포 파이프라인 구축해보자..
ECR
[CICD] git-jenkins-ECR로 자동배포 구축하기
스테이징/운영 환경에서 git-jenkins-ECR로 안전한 자동배포 파이프라인 구축해보자..
docker
[CICD] git-jenkins-ECR로 자동배포 구축하기
스테이징/운영 환경에서 git-jenkins-ECR로 안전한 자동배포 파이프라인 구축해보자..
API Gateway
[AWS] API Gateway 호출 기록 로깅
API Gateway API 호출 기록 CloudWatch 로깅
CloudWatch
[AWS] API Gateway 호출 기록 로깅
API Gateway API 호출 기록 CloudWatch 로깅
springboot
속도 개선을 위한 DB 인덱싱 및 비동기 적용
통계 화면 속도 개선을 위한 DB 인덱싱 및 비동기 프로그래밍
SSL
[보안] 타사 인증서 AWS ALB SSL 적용
타사 인증서를 AWS ACM에 등록하고 ALB에 적용해보자
SSM
[보안] SSM으로 콘솔에서 EC2 원격 쉘 접속
보안그룹 수정 없이 VPC 내부의 EC2 쉘 접속 해보자