기리이이이인

이번 달의 What are you reading! Batch size vs Learning rate Effect of batch size on neural net training https://medium.com/deep-learning-experiments/effect-of-batch-size-on-neural-net-training-c5ae8516e57 요약 배치 사이즈를 K배로 키우고 다른걸 안 건드리면 한 배치내 example들의 Sum of gradient norm 은 K배보다 작다. 사실 당연한 부분 (모든 example의 그래디언트가 같은 방향이어야 겨우 K배랑 같아지니까). 즉 AVG(gradient) 가 아니라 SUM(gradient)를 학습에 사용해도 학습한 데이터의 총량이 같으면 업데..

슬슬 업무에 시스템 쪽 내용도 필요해지는 것 같은데 따로 시간내서 공부해두는게 나을 것 같아 http://www.yes24.com/Product/Goods/102819435 이 책이랑 CKA를 보려구 한다. 공부하면서 생기는 궁금점이랑 중요한 내용 같은걸 짧게 짧게 정리해두려고 함. https://designgurus.org/course/grokking-the-system-design-interview 이거랑 https://github.com/donnemartin/system-design-primer 이거도 유명하댔는데 얘네는 다음 스텝으로 봐야지 1. 웹서버의 부하는 로드밸런서로 나누는데, 만약 트래픽이 너무 커져서 로드밸런서에도 부하가 걸리면 그건 어떻게 나누는가? 2. 들어오는 리퀘스트의 내용에 따..

2020 SCPC 2차 예선 3번 문제에서 삽질한 기록을 정리하려고 한다. 문제는 다음과 같다. 먼저 N

ACER: Sample Efficient Actor-Critic With Experience Replay제목에서도 볼 수 있듯이, 딥마인드에서 나온 Sample Efficient Actor-Critic With Experience Replay 는 Actor-Critic method에 Experience Replay를 접목시켜 데이터 효율성을 높인 새로운 강화학습 알고리즘을 제안하는 논문입니다. A3C의 off-policy 버전이라고 생각하셔도 됩니다. 논문 내용을 요약하면 다음과 같습니다. Experience Replay를 도입해서 Sample efficiency를 향상시켰다.Experience Replay를 사용하기 위해 그래디언트 계산에 off-policy correction을 추가했다. Import..

loss - 복사본 Pairwise ranking loss친구한테 영화를 추천해야 하는 상황을 생각해보자. 친구가 이때까지 본 영화에 대해 매긴 평점이나 영화평을 통해, 많은 새로운 영화 후보 중 친구가 볼 법한 영화를 순위를 매겨 제공해주는 것이다. 이런 종류의 문제를 딥러닝으로 풀고 싶으면 어떤 모델을 사용하는게 좋을까?물론 Recommendation system 같은 내용이 있겠지만, 여기서는 문제를 다음과 같이 단순화해보자."여러 개의 입력 이 주어질 때 입력 간의 상대적인 순위 를 구하기"만약 랑 관련된 일종의 점수 가 제공된다면 가장 쉬운 방법은 를 입력으로 받아서 를 예측하는 regression model을 만드는 것이다. 위의 예시의 경우 친구가 본 영화들에 대해 평점을 매겨준다면 영화 정..

Squeeze-and-Excitation Networks이 글은 Squeeze-and-Excitation Networks 논문을 읽고 요약/정리한 것이다.SENet은 VGGNet, ResNet, DenseNet에 이어 2017 ILSVRC 에서 1등을 한 CNN 구조이다. Classification에서 top-5 error 2.251%로 전년도 대비 25% 나아진 결과를 보이며 SOTA를 갱신했다.보통 Spatial information에 집중하는 다른 연구1와 다르게, SENet은 채널 간의 상호작용을 학습한 뒤, 그 정보를 사용해 채널 단위로 새로운 가중치를 줘 성능 향상을 이끌어냈다. 일종의 attention이라고 볼 수도 있다.Squeeze-and-Excitation BlockResNet의 근간이..

Batch Normalization 이 글은 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift을 읽고 정리한 것이다. 네트워크 학습에 많이 쓰이는 SGD의 경우 각 파라미터의 기울기가 앞쪽 레이어에 의존하기 때문에 조그마한 변화도 네트워크가 깊을 경우 증폭되는 경향이 있다. 또 각 레이어에 들어오는 input은 다른 레이어의 출력이고, 이는 각 층의 파라미터 값에 영향을 받기 때문에 학습이 진행됨에 따라 input의 distribution도 바뀌게 된다. 이에 따라 레이어가 계속해서 변화에 적응해야 하기 때문에 학습 속도가 느려지게 된다. 또한 saturation problem이라는게 있는..

https://polygon.codeforces.com/ 폴리곤은 알고리즘 문제를 출제할 때 유용하게 쓸 수 있는 일종의 플랫폼이다. 문제를 풀 수 있는 환경을 제공하는 곳이 아니라, 데이터를 만들고 솔루션을 검증해볼 수 있는 사이트이다. 코드포스 라운드 공지에 자주 적혀 있는 폴리곤도 여기다. 이번 RUN 가을 대회를 준비하면서 처음 써봤는데 많은 도움이 돼서 사용법을 정리해둔다. 로그인을 한 다음 New Problem을 누르면 새 문제 준비를 시작할 수 있다. 문제 이름을 입력하면 메인 화면에 다음과 같이 문제가 생긴다. Start를 누르면 해당 문제 관리 페이지에 들어가진다. 메뉴에 있는 각각의 기능을 요약하면 다음과 같다. General info 시간 제한, 메모리 제한, 문제가 파일입출력을 사용..

9월 9일 진행된 카카오 코드페스티벌 본선 8문제 중 앞 6문제에 대한 풀이다. 나중에 좀 더 다듬어서 예쁘게 쓰고 싶었는데 그런 마음 가졌다가 안쓴 글이 한두가지가 아니라서 일단 되는대로 쓴다.생각나는대로 짠거라 코드가 길거나 더럽다 ㅜ... 어차피 곧 카카오 테크 블로그( tech.kakao.com )에 풀이 글이 올라온다고 하니 제대로 된 문제 설명과 풀이는 그쪽을 기다리면 될 듯!예선 설명도 테크 블로그에 있다 : tech.kakao.com/2017/08/11/code-festival-round-1/ 1번. 단체사진 찍기 문제 : 카카오 프렌즈 8명(마리?)이 한줄로 서서 단체 사진을 찍으려고 한다. 그런데 프렌즈간 미묘한 관계가 있어서 각자 다른 프렌즈과의 거리에 대해 요구사항이 있다. 이 때 ..

중학교- 수학 : 내신용으로 개념원리 + 쎈, 선행학습용으로 실력 정석- 과학 : 내신용으로 O2, 선행학습용으로 하이탑- 기타 : 각 과목 출판사에 맞는 자습서 고등학교(경산과학)- 수학 : 주 교재로 실력 정석, 내신용으로 일품 + 블랙라벨, 대입 준비용으로 옛날 본고사 문제 모음집(시판X)- 물리 : 주 교재로 대학물리학(serway), 부 교재로 하이탑, 최신물리(최종락,신병현 공저), 자습용으로 할리데이 등 다른 대학물리학 교재 참고- 화학 : 주 교재로 줌달 일반화학, 하이탑, 부 교재로 옥스토비, 자습용으로 PEET 문제집- 생물 : 주 교재로 캠벨 생명과학, 부 교재로 하이탑, 자습용으로 MEET/DEET 문제집- 지구과학 : 주 교재로 하이탑 대학교(KAIST 전산)[1학년]- 일반물리학..