ML Study 2019~2020

[dingdongx2]

190126~

[dingdongx2]

190126 (토)

장소 : 강남 카페나인

진행

• trello 생성 : link
  • 두가지 version으로 만들기로 함 (Hyuk, William)
• git repo 생성 : link

계획

조금 더 상세히 생각해보도록 함

[dingdongx2]

190210 (일)

장소 : 강남 카페나인

진행

데이터 파싱 방식에 대해 의논함.

• JSON으로 문제/본문/보기/답 형식으로 하자는 의견이 나왔으나 모델 학습에 문제 풀이는 필요치 않다는 결론 하에 본문 만을 파싱하기로 결정함
• text형식으로 doc은 \n기준, 단락은 \t기준으로 저장하기로 함.

데이터 수집을 시작함.

• 19년도 특강/특강_독해/완성 pdf에 어려움을 겪을 뻔했으나 hwp를 구할 수 있어 무사히 파싱이 가능했다.
• parser 작성 중
• 14-19년도 수능/모의/특강/완성 pdf까지 수집함

계획

• parser 완성
• conherence 논문 읽기
• 유형 별 어떻게 해결해야 할지 고민 시작
• test set 번역 전처리

[warmwall]

190217 (일)

장소: 강남 카페나인

진행

필요한 모델 의논

• 모델을 일치불일치, 감정 분석, 문장 간 연관성, 지칭 추론으로 나누었음
  • 일치불일치: ???
  • 감정 분석 모델: 긍부정 분석 등 응용, 단어 단위로 처리
  • 문장 간 연관성: CNN 모델을 응용
  • 지칭 추론: 온톨리지 활용
• 답안지 번역은 Papago 사용

계획

• 도표 및 본문을 잘 뽑아낼 수 있는 방법 찾기
  • 한글/영어를 동시에 사용할 수 있는 OCR 툴
  • pyOCR
• Text Coherence 모델 개발 기획
  • 사용할 네트워크 설정

Input

1. 모델 선택
2. 문제
3. 문제 유형
4. 본문
5. 보기

[dingdongx2]

190218 (월)

장소 : 왕십리 아리가또

진행

• Study2019에 논문 기록 시작 : link
  • 스터디가 있을 때마다 과제로 논문 한 편씩 summary
  • 최대 5줄 이내로 요약.
  • 기존 발표와는 달리 상대방이 아닌 스스로에게 논문을 상기시키기 위함
  • 목적 :
    • 영어 논문을 빠르게 읽게 한다
    • 핵심 내용만을 짚고 술술 넘어갈 수 있다
    • 다시 봤을 때, summary만 보고 혼자서 대략적으로 내용을 짐작할 수 있다
• 논문을 몇 개 찾아보았으나 딱 알맞는 논문을 찾지 못하였다.
• BD-SEARCH 스터디의 의의에 대해 유익한 점을 논의하였다.

계획

• text coherence에 관련된 자료 및 논문 검색

[warmwall]

190306 (수)

장소: 강남역 카페나인

진행

• Tensorflow-tutorial 설명
  • 간단한 행렬 덧셈/곱셈부터 Linear Regression, Word2Vec까지 기본적인 행렬 연산을 가지고 구현
  • loss 함수(cross-entropy 등)
  • 정확히 알지 못하던 기본 개념을 복습하는 과정
• TextCNN 관련 논문 설명
  • 모델의 구조 및 실험 방법, 의의 기준
• Text Coherence에 대한 논의
  • 목적에 따라 text coherence를 판단하는 기준은 달라질 수 있다
  • 한 글 내 한 문장만 coherence하지 않다면, 이 글 전체를 coherence하다고 볼 수 있는가

계획

• 프로젝트와 관련된 논문 찾기 (⭐️)
• 공부한 것 보고하기

[warmwall]

190317 (일)

장소: 강남 카페나인 등

진행

• Wiki 정리
  • 기존 문제점: 내용 분류가 제대로 되어 있지 않아 Wiki에 새로운 내용을 집어넣기가 어려움
  • 개선: 개념을 Tree 형태로 나누고 Wiki 문서도 Tree 형태로 구성되게끔 변경. 보다 체계적으로 정리를 해서 새로운 내용을 넣기 상대적으로 용이함.

[dingdongx2]

190324 (일)

장소 : 강남역 카페나인

진행

• Seminar 발표
  • 소영 : adversarial training methods for semi-supervised text classification
  • 원태 : Structure-Preserving Image-Text Embeddings
• 201901 - 201903 논문 정리 및 wiki 정리

계획

• 프로젝트와 관련된 논문 찾기 (도대체 언제!!!)
• seminar 자료에 일주일 정도의 노력 투자하기
• ML wiki - 외부자료 / 외부자료 아닌 것 모아두기
  • 내부자료
    • 네이버의 링크로 이동해보자 : link
  • 외부자료
    • naver

[warmwall]

190331 (일)

장소: 강남역 카페나인

진행

• 지난 주에 한 것/겪은 것 공유
• 스터디 진행이 늘어져 있는데, 다시 스터디를 열심히 하기 위한 방안 탐색
  • (계획 참고)
• 맥북이 고장나서 스터디를 제대로 할 수 없었다 ㅠ
  • 정신적 충격을 극복하기 위해 아이패드에 스티커를 채움 / 음악 감상

계획

• 매주 스터디 시간에, 한 주에 서로 문서 하나씩 선택해서 내용 채우기
  • 서로 작성한 문서를 검토해서 빠진 부분 채우기
  • 목적: 자기가 알고 있는 지식을 복습하고, 모르는 지식은 공부하면서 채우기
• 문서를 작성하다가 새로운 문서를 작성하지 않으면, 그것도 작성해 본다..

[dingdongx2]

190410 (수)

장소 : 강남역 카페나인

진행

• colloquium PPT 합본 생성
• neural embedding의 back-propagation에 대해 토론
• paper wiki에 대해 어떻게 정렬할지에 대해 논의
  • 페이지명 예시: Layer+기법, Optimization, NLP, Image

계획

• colloquium 자료 어떻게 올릴지 고민을 해본다
• colloquium 발표 정리
• 우리 기존 스터디는 어떻게?
  • 조금 더 작은 목표를 세워서 그것부터 차근차근
  • 논문 : text coherence 구현
• 논문 위키를 어떻게 정리할 것인지 방법 생각해 보기
• 일요일까지 word2vec기법 공부해오기

[warmwall]

190428 (일)

장소: 왕십리 아리가또

진행

• 각자 Wiki 정리
  • CNN 모델
  • Naive Bayes

계획

• 다음 주에도 이번과 마찬가지로 WIKI를 정리한다.
• Text Coherence에 대해 공부해 오기
• 논문위키 정리 방법 생각해 보기

[dingdongx2]

190430 (화)

장소 : 강남 카페나인

진행

• Apr2019 seminar 진행
  • 소영 : FastText
  • 원태 : CNN모델의 invarient
• Study2019 논문 WIKI 정리
  • 양식 확정 및 폴더 분류

계획

• BERT 공부
  • 각자 BERT논문 읽어온 후 정리
  • 다음 스터디 때 함께 PR12 논문 해석 영상 함께 본 후, 서로 정리한 BERT에 대해 의견 나누기
• bert-toeic
  • github
  • BERT로 toeic 문제 풀이. 현재 우리의 문제와 비슷하다
  • 어떻게 해결했는지를 보고 앞으로의 진행 결정
  • 코드 분석 필요

[warmwall]

190512 (일)

장소 : 강남역 카페 나인

진행

• BERT 공부
  • BERT 강의 듣기
  • BERT 정리해 둔 블로그 글 읽기
• 소영의 찡찡

계획

• BERT 재 리뷰 및 논문 다시 읽기

[warmwall]

190519 (일)

장소: 카페루보브

진행

• 발표 준비

계획

• 발표 😕

[dingdongx2]

190526 (일)

장소 : 강남역 스타벅스

진행

• 발표
  • Exploring Randomly Wired Neural Networks for Image Recognition
  • Consistent Comic Colorization with Pixel-wise Background Classification
• wiki에 논문에 대한 설명 추가

계획

[dingdongx2]

190609 (일)

장소 : 왕십리 cafe MAMAs

진행

• Attention is all you need 인터넷 강의 듣기 (5분): link
• 스터디가 너무 늘어지는 것 같아 책을 다 공부하기를 목표로 진행하기로 결정.
• Batch normalization 강의 : link

계획

• 스터디 진행 개편
  • PR12 강의 듣기: 강의 리스트
  • 기초 다시 공부하기
    • 책: "밑바닥부터 시작하는 딥러닝"(Deep Learning from Scratch)
    • wiki에 추가 정리
    • tensorflow tutorial 병행