기리이이이인

Squeeze-and-Excitation Networks이 글은 Squeeze-and-Excitation Networks 논문을 읽고 요약/정리한 것이다.SENet은 VGGNet, ResNet, DenseNet에 이어 2017 ILSVRC 에서 1등을 한 CNN 구조이다. Classification에서 top-5 error 2.251%로 전년도 대비 25% 나아진 결과를 보이며 SOTA를 갱신했다.보통 Spatial information에 집중하는 다른 연구1와 다르게, SENet은 채널 간의 상호작용을 학습한 뒤, 그 정보를 사용해 채널 단위로 새로운 가중치를 줘 성능 향상을 이끌어냈다. 일종의 attention이라고 볼 수도 있다.Squeeze-and-Excitation BlockResNet의 근간이..

시립 도서관에 고전부 시리즈(빙과 ~ 이제 와서 날개라 해도)를 빌리러 갔다가 이틀 전 누군가가 시리즈 6권 전권을 빌려갔다는 사실을 알게 되어 매우 좌절했다. 무더운 날씨에 1시간이나 걸려 온 노력이 아까워서 같은 작가의 다른 작품을 살펴 보았다. 여러 권이 있었는데, 도서관까지 온 만큼 최대 한도인 다섯 권을 대출해가고, 그 외 한 권 정도만 그 자리에서 읽기로 했다. 요네자와 호노부의 작품은 기본적으로 추리물인데 그 중에서 상대적으로 가벼운 분위기(고전부 시리즈=빙과, 소시민 시리즈)와 무거운 분위기가 있다는 정도만 나무위키를 통해 알고 있었다. 애초에 읽고 싶었던건 탐정 느와르 같은게 아니라 밝고 명랑한 청춘 추리물이었고, 마침 소시민 시리즈도 네 권이어서 빌리기로 확정. 거기다 원래 고전부 시리..

Deep Q NetworkDQN은 구글 딥마인드에서 발표한 논문 Playing Atari with Deep Reinforcement Learning과 Human-level control through deep reinforcement learning에서 제시된 강화학습 알고리즘으로, 기존 Q-learning 알고리즘의 Q(action-value) 함수를 딥러닝으로 근사하는 알고리즘이다. 이 알고리즘이 중요한 이유는 딥러닝을 강화학습에 적용하는 것을 어렵게 하는 여러 문제를 (필자가 아는 한 최초로) 해결했기 때문이다. 어려운 점의 대표적인 예시로는성공적인 딥러닝을 위해선 예쁘게 가공된 대규모의 데이터 셋이 필요한데, 강화학습은 input에 대응되는 정답을 명확히 알 수 없을 뿐더러 delay가 있고 no..

MAB Multi-Armed Bandit Problem 1. 개요 Multi-Armed Bandit(MAB) problem이란 강화 학습에서 다루는 분야 중 하나로, 여러 선택지가 주어지고 각 선택지는 특정한 확률 분포를 따르는 보상을 돌려준다고 할 때 어떤 선택지를 고르는 것이 이득인지 판단하는 문제이다. 가장 쉬운 예로는 웹사이트의 광고 자리에 어떤 회사의 광고를 노출시켜야 사람들이 많이 클릭해 수익을 최대한 얻을 수 있을지 판단하는 것이 있다. 각 선택지를 arm, iii번째 arm의 보상의 기댓값을 θiθ_iθi​, iii번째 arm의 보상이 따르는 확률 분포를 PiP_iPi​라고 쓰자. 통상적으로 각 arm은 같은 모양의 확률 분포를 가진다고 가정하므로 PiP_iPi​=P(θi)P(θ_i )P(..

Batch Normalization 이 글은 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift을 읽고 정리한 것이다. 네트워크 학습에 많이 쓰이는 SGD의 경우 각 파라미터의 기울기가 앞쪽 레이어에 의존하기 때문에 조그마한 변화도 네트워크가 깊을 경우 증폭되는 경향이 있다. 또 각 레이어에 들어오는 input은 다른 레이어의 출력이고, 이는 각 층의 파라미터 값에 영향을 받기 때문에 학습이 진행됨에 따라 input의 distribution도 바뀌게 된다. 이에 따라 레이어가 계속해서 변화에 적응해야 하기 때문에 학습 속도가 느려지게 된다. 또한 saturation problem이라는게 있는..

새 키보드랑 새 노트북이랑 돈이 생긴 기념으로 모니터를 하나 샀다!!기숙사 책상이 좁아서 크기는 24인치로 정했고, 브랜드는 알파스캔이랑 벤큐 중에 고르기로 했다.책상이 낮아서 필요한 틸트 기능이랑, 왠지 눈에 좋을 것 같은 플리커 프리/블루라이트 차단/눈부심 방지 옵션을 고르고 검색하니까 순서대로1. 알파스캔 AOC 2477 IPS MHL+DP 무결점2. 알파스캔 2400 ADS MHL 무결점3. 알파스캔 24NB77PR IPS 시력보호 무결점4. 알파스캔 AOC 2490 IPS DP 무결점가 나온다. 베스트 셀러인 1번이랑 이름에 시력보호가 들어가는 3번 중에 고민하고 있었는데, 그냥 쿠팡에 한번 검색해봤더니 3번을 다나와 최저가보다 싼 166,690원(지금 검색해보니까 185,220원이라고 나온다)..

https://polygon.codeforces.com/ 폴리곤은 알고리즘 문제를 출제할 때 유용하게 쓸 수 있는 일종의 플랫폼이다. 문제를 풀 수 있는 환경을 제공하는 곳이 아니라, 데이터를 만들고 솔루션을 검증해볼 수 있는 사이트이다. 코드포스 라운드 공지에 자주 적혀 있는 폴리곤도 여기다. 이번 RUN 가을 대회를 준비하면서 처음 써봤는데 많은 도움이 돼서 사용법을 정리해둔다. 로그인을 한 다음 New Problem을 누르면 새 문제 준비를 시작할 수 있다. 문제 이름을 입력하면 메인 화면에 다음과 같이 문제가 생긴다. Start를 누르면 해당 문제 관리 페이지에 들어가진다. 메뉴에 있는 각각의 기능을 요약하면 다음과 같다. General info 시간 제한, 메모리 제한, 문제가 파일입출력을 사용..

9월 9일 진행된 카카오 코드페스티벌 본선 8문제 중 앞 6문제에 대한 풀이다. 나중에 좀 더 다듬어서 예쁘게 쓰고 싶었는데 그런 마음 가졌다가 안쓴 글이 한두가지가 아니라서 일단 되는대로 쓴다.생각나는대로 짠거라 코드가 길거나 더럽다 ㅜ... 어차피 곧 카카오 테크 블로그( tech.kakao.com )에 풀이 글이 올라온다고 하니 제대로 된 문제 설명과 풀이는 그쪽을 기다리면 될 듯!예선 설명도 테크 블로그에 있다 : tech.kakao.com/2017/08/11/code-festival-round-1/ 1번. 단체사진 찍기 문제 : 카카오 프렌즈 8명(마리?)이 한줄로 서서 단체 사진을 찍으려고 한다. 그런데 프렌즈간 미묘한 관계가 있어서 각자 다른 프렌즈과의 거리에 대해 요구사항이 있다. 이 때 ..

이 날의 메인 이벤트는 친구 고모님 찾아뵙기였다. 막 딱딱하게 인사 올리러 가는건 아니고 여행간 김에 뵙고 담소 나누는 그런 느낌? 오후 2시 좀 넘어서 찾아뵙기로 했으므로 미리 신주쿠에 가서 점심을 먹은 뒤 방문하자는 계획을 친구랑 세웠다. 근데 결국 일어난건 12시쯤, 숙소 나선 건 1시 좀 넘어서, 신주쿠 도착하니까 2시 정도가 돼서 밥을 먹을 시간이 부족했다(번화가 점심 시간에서 일본어로 음식 주문할 배짱도 부족했다). 마침 맥도날드가 보이길래 친구가 일본 맥도날드 맛도 확인해봐야지! 라는 핑계를 대길래 그냥 맥도날드를 갔다. 빅맥 세트. 그랜드 빅맥이 있었는데 아마 그걸 시켜야 하지 않았을까. 우리나라 맥도날드는 보통 시끌벅적한 느낌이었는데 일본 맥도날드는 조용해서 신기했다. 공부하는 사람들이 ..

대구 공항에서 미리 신청해둔 포켓 와이파이를 수령하고 나리타 공항으로 날아갔다. 저가 항공은 별로 안타봤는데 아시아나랑 별 차이 없는듯? 기내식만 안주고. 나리타 공항에 도착한 뒤 먼저 숙소에 가서 짐을 풀기로 했고, 에어비앤비 집주인이 공항에서 숙소로 가는 길을 적어둬서 그 노선을 따라 갔다. 나리타 공항->바쿠로요코야마->키쿠카와 역으로 가는 지하철 노선이었는데, 나리타->바쿠로 요코야마를 갈 때 도에이선을 타고 가라고 적혀 있어서 그렇게 했다. 나중에 알고보니까 같은 노선의 급행도 있었고 더 빠른 다른 노선도 있었다 ㅠㅠ 마지막 날 숙소에서 공항갈 때는 이 때의 경험을 잘 살려 빠른 노선으로 갔다. 1시간 넘게 전철에서 앉아 있었는데, 창밖으로 보이는 풍경이 평소 애니메이션에 나오는 일본 가정집이랑..