2018년 7월 31일 화요일

6주/천문학자 카렌 마스터스와 인터뷰

[커세라 강좌 소개] 자료기반 천문학(Data-Driven Astronomy)
-----------------------------------------------------------------
Week 6: Learning from data: classification
제6주차: 자료에서 정보 얻어내기(자료분류)
- Using machine learning tools to classify your data
  수집한 자료를 분류하기 위해 기계학습 도구(분석 소프트웨어)를 활용하기
- Investigating different types of galaxies
  서로다른 종류의 은하 찾기
-----------------------------------------------------------------
1강: 관측 자료 분류(Classification)
Lesson 1: Learning from Data: Classification / 한글자막
-----------------------------------------------------------------
Lesson 2: Types of Galaxies / 한글자막
-----------------------------------------------------------------
3강: 형태에 따른 은하 분류
Lesson 3: Morphological Classification of Galaxies / 한글자막
-----------------------------------------------------------------
4강: 결정 트리 분류기의 한계
Lesson 4: Limitation of Decision Tree Classifier / 한글자막
-----------------------------------------------------------------
5강: 개선된 앙상블 분류기
Lesson 5: Improving your result with Ensemble Classifier / 한글자막
-----------------------------------------------------------------
Week 6 Module Summary / 한글자막
-----------------------------------------------------------------
6주/천문학자 카렌 마스터스와 인터뷰
Week 6 Interview with Karen Masters / 한글자막 / 영문자막

* 인터뷰가 무려 10분. 길고 지루하여 상당부분 의역이 있음. 하지만 내용은 재미있음.

[강의대본]


[00:04] 안녕하세요. 저는 카렌 마스터스 박사입니다. 제가 하는 일은 영국의 다트머스 대학에서 천문학과 천체물리부 장을 맏고 있어요. 우리는 학교내에 연구소를 가지고 있는데 우주론 및 중력 연구소라고 합니다. 저는 그곳에 머물며 그곳에서 일합니다.


[당신의 연구분야에 대해 말해주세요]

[00:24] 저는 은하와 우주에서 은하의 역활에 관심을 가지고 있는데 제가 이쪽 분야에 연구경력을 쌓은 이래 쭉 관심을 가지고 있죠. 그 연구는 대규모 자료의 통계처리에 관한 겁니다. 그래서 정말 엄청난 규모의 하늘 탐사인데 다수의 천문학자들, 수많은 관측자들, 그리고 일련의 자료처리와 목록작성에 참여하는 사람들, 연구자들이 백서를 작성할 수 있도록 커다란 파일을 만들고, 자료를 발굴하는 사람들이 이 팀에 있죠. 그래서 저는 특별히 천문학 관련부분에 참여하고 있는데 그게 바로 슬로언 디지털 스카이 서베이(Sloan Digital Sky Survey) 입니다. 현재 슬로언 디지털 스카이 서베이의 대변인을 맞고 있습니다.

[01:04] 지금 그 탐사에서는 분광(스펙트럼) 탐사를 진행 중이고 우리는 많은 천체의 스펙트럼 자료를 모으는 중입니다. 그리고 대변인 으로서 저는 자료 서버의 인력관리를 담당하죠. 우리는 모두 과학자들이고 우주를 이해 하겠다는 아주 원대한 목표를 가지고 있는 사람들이죠. 그리고 같은 일을 하는 사람들의 대규모 협력을 도모하기 위해 약간의 규칙을 만듭니다. 사람들이 토론하는 게시판에는 규칙이 필요하고 합의를 이끌어 냅니다. 그래서 저는 그런 일에 참여 합니다. 또한, 미디어에 공개되는 저마다 개성있는 사람들을 다루는데 아주 재미 있죠.

[당신의 일에서 "사람들" 쪽은 얼마나 중요 할까요?]

[01:40] 과학에 관심을 가진 수많은 사람들이 있어요. 그러니까 이 질문은 사람들이 걱정하는 경력(직업)에 관한 것 중의 하나죠. 맞죠? 점점더 많은 사람들이 천체물리학에서 박사학위를 받아 천문학이나 천체물리학과 교수로 갈 수 있어요. 하지만 우리의 과학이 제대로 되길 원한다면 다양한 분야에서 일할 사람들이 필요하죠. 그리고 저는 천문학이나 천체물리학자가 되서 할 일의 안목을 넓혀놓고 생각해야 된다고 봐요. 그러니까, 소프트웨어를 작성 할 때 어떤 연속적인 과정이 있다는 것. 그러니까 우주를 연구하려면 먼저 자료를 가져야 겠죠. 그리고 당신이 천체물리학자 혹은 천문가라고 하죠. 당신이 천문가라면 먼저 장비를 구축할 겁니다. 저는 이렇게 여러 사람들이 함께 관여하는 과학의 모양새가 좋아요. 앞으로 전진하기 위해 여러 사람들이 저마다 몫을 하는 거죠. 어떤 일에 대해 생각하거나 쪽지에 공식을 적어두는 일이 연구자 만이 하는 것이라고는 생각하지 않죠.

[천문학은 얼마나 변했나요?]

[02:28] 제생각에 정말로, 솔직히 모든 천문학이 지난 2백년 동안 완전히 바뀌었다고 생각합니다. 천문학자들이 묘사된 만화영화에서는 알아채지 못하는 놀라운 기술의 발달이 있었다는 겁니다. (천문학자의 위인전 만화영화는 천문학 이야기만 나옴) 그러니까 2백년 전에 유명한 가문(Earl of Roses)의 아일랜드에 있는 영지에 세상에서 가장 큰 망원경을 세웠어요. 그리고는 그는 거대한 망원경을 통해 본 나선구조 은하 그림을 처음 그렸죠. 여러분은 사진으로 보기 전까지 믿지 못했을 겁니다. 요즘은 장노출로 찍은 수많은 은하사진을 볼 수 있습니다. 그리고 나서 소리굽쇠(은하 구분 도표)를 합치기위해 수천장의 은하 사진을 보고있는 허블(Hubble)이 되어 봅시다. 그는 크게 타원은하와 나선은하로 나눌 수 있다는 것을 깨닳았죠.

[03:15] 그리고 여러분은 CCD 소자의 개발을 맞이하게 됩니다. 전하 결합 소자(Charge Coupled Device))라는 것인데 디지털 카메라의 영상 소자죠. 일단 여러분이 그것을 손에쥐면 정말로 거대한 탐사를 시작 할 수 있어요. 그리고 디지털화된 엄청난 자료를 수집할 수 있죠. 결국 슬로언 디지털 스카이 서베이는 그중에서 참으로 대규모 였습니다. 전 하늘의 삼분의 일 가량을 영상으로 찍었고 대망의 공개 첫날은 하늘의 겨우 25% 가량 이었지만 실제로 1억개 이상의 은하가 담긴 영상들입니다. 이에 덧붙여 슬로언 자료는 약 백만개의 은하에 대한 거리도 포합되었습니다.

[03:49] 오랜동안 천문학에서 은하까지 거리는 아주 큰 문제였죠. 우리는 사진을 찍어왔죠. 천상의 구면(celestial sphere)을 이런 평평한 2차원에 담아온 겁니다. 거리를 알기 전 까지는 은하의 물리적인 속성을 이해할 수 없어요. 따라서 에드윈 허블은 다시 이쯤해서 적색편이(Red-Shift)를 활용할 수 있을 거라는 생각에 이르렀습니다. 그리하여 은하의 멀어지는 속도 그러니까 겉으로 보이는 은하의 팽창속도를 거기까지 거리를 추정해 보려고 합니다. 슬로언 계획도 그런 목적으로 백만개의 은하에 대해 스펙트럼을 측정 했습니다. 그리고 적색편이를 측정 했죠.

[04:15] 그리고 여러분에게 갑자기 CCD에 담긴 백만개의 은하 사진, 엄밀히 말하면 다 파장대(multiple wave length)로 찍은 사진이 주어졌다고 합시다. 우리는 실제 천연색 사진 혹은 강조 처리된 컬러사진(pseudo color)을 가지고 그들까지 거리를 알아 냈습니다. 몇명의 천문학자로는 백만개의 은하를 들여다보기는 곤란하죠. 그리하여 은하를 통계적으로 보기 시작 합니다. (은하사진 한개 두개에 감탄하다가 갑자기 백만개의 은하사진을 얻었다!) 그리하여 사람들은 도표에 점을 찍기 시작 했죠. 커다란 도표에 관한 주요 사항을 적은 그림이 있는데 여기에는 은하가 그저 한 점, 또는 등고선(contour)이나 히스토그램(histogram)으로 찍혀있는 것을 볼 수 있죠. 색깔로 밝기를 구분해 놓은 사진도 있죠. 이런 사진에 대부분 은하가 밀집된 양상에 따라 청색 혹은 적색으로 묘사되어 있다는 것을 알게될 겁니다. 은하의 수가 많을 수록 녹색 계곡이라고 하는데 움푹 패인 듣한 곳도 있죠.

[05:00] 슬로언 자료는 스펙트럼 자료도 있는데 스펙트럼과 관련된 연구를 할 수 있어요. 소위 BPT 도표 같은 것입니다. 이 도표는 방출선 진단용 도표(emission line diagnostics
diagram)로 방출선에서 특정 가스의 이온화가 진행되며 방출하는지 알수 있습니다.

* BPT 도표("Baldwin, Phillips & Telervich")는 성운 복사선도의 일종이다. 수소와 산소 및 질소 이온화 복사선의 비율을 도표로 나타내어 일반적인 AGN과 QSO와 구분하여 별이 형성되는 은하를 진단하는 도구로 사용된다.
https://ned.ipac.caltech.edu/level5/Glossary/Essay_bpt.html
https://en.wikipedia.org/wiki/Low-ionization_nuclear_emission-line_region



[05:14] 따라서 은하의 방출 복사선에서 가스(수소와 산소, 질소)의 이온화의 비율을 구해 별이 탄생하고 있는 영역과 별이 탄생할 수 없는 이온화 비율을 보이는 지역을 구분할 때 적용되죠. 활동성 은하핵 또는 별처럼 특이한 고에너지 물리현상이 일어나는 영역은 이 방출선이 억제됩니다.

[05:34] 이런 은하 단위의 관측은 천문학계의 혁명을 일으켜 외계은하 천문학(extragalactical astronomy)이 되었죠. 하지만 은하를 하나의 점으로 보게되면 이 은하들이 구조를 가지고 있다는 사실이 간과 됩니다. 그리하여 저는 은하 동물원(Galaxy Zoo)이 아주 흥미롭습니다. 정말로 훌륭한 기획이라고 생각해요. 은하 사진을 즐겨보는 세상 사람들에게 그 은하를 분류 해달라고 요청하여 그 결과 연구에 도움을 받고 있죠. 그리하여 우리는 은하의 외형적 특징을 얻게 되었고 시각적 정보를 가지기 시작 했습니다. 인간의 패턴 인식 능력은 아주 탁월 합니다. 우리는 특징들을 통계적으로 분류하여 디지털 자료를 얻게되었습니다. 그결과 성과로 스펙트럼 측정과 그외 디지털화된 정보들을 가지고 컴퓨터에서 실행 시킬 수 있게 됐습니다.

[당신이 이 스카이 서베이 업무를 하는 동안 가장 어려웠던 점은 무었이었나요?]

[06:17]제생각에 가장 어려웠던 점은 자료의 규모가 되겠네요. 쌓인 자료가 얼마나 될지 상상도 못할 겁니다. 슬로언 디지털 스카이 서베이의 새 탐사임무 중 하나가 망가(MaNGA)입니다. 시드니에서 수행했던 새미(SAMI)탐사와 유사한데 아마 이 강의중 언잰가 들어봤을 지도 모르겠네요. 하지만 망가는 자료구조 같은 것으로, 믿을 수 없을 만큼 다차원(복잡하고 대규모)의 탐사이죠.

MaNGA(Mapping Nearby Galaxies at APO, Apache Point Observatory), https://www.sdss.org/surveys/manga/

* SAMI Galaxy Survey(Sydney-Australian-Astronomical-Observatory Multi-object Integral-Field Spectrograph), https://sami-survey.org/

[06:43] 탐사에 참여하는 각 연구 팀들이 쌓아놓은 자료들을 시각화하는 새로운 방법을 강구해야 했습니다. 그 결과가 어떻게 나올지 정말 흥분되었어요. 자료를 보관처리하고 그 자료에 접근하는 일은 아주 큰 사안이라고 생각합니다. 슬로언 디지털 서베이는 사람들이 쉽게 그 자료에 접근하도록 만드는 일에 세심하고도 아주 많은 노력을 기울였죠. 단지 관측 자료를 쌓아놓는 것이 아니라 자료를 조직화하는데 정성을 들인 결과 슬로언 디지털 스카이 서베이가 지금처럼 세계적으로 가장 널리 활용 될 수 있었다는데 이론의 여지가 없는 겁니다. 수많은 천문학자들이 거기에 가면 없는게 없다고 생각합니다. 그 노력이 어디까지 갈거라는 생각은 없지만 현재 진행중인 4차 SDSS가 막바지에 이른 이 시점에도, 2020년에 끝나는 지금도 여전히 진행 중입니다.

[07:35] 하지만 우리가 고려하고 있는 일들 중 하나는 여러분들이 SDSS의 데이터 베이스를SDSS의 임무가 종료된 이후에도 계속 활용 할 수 있게 할까? 입니다. 그리고 이런 자료들이 미래의 천문학자들이 활용할 수 있게 잘 보관 해두어야 겠다는 것이죠. 그것은 단순한 사진건판이 아니잖아요. 그렇죠? 지하실에 처박아 두고 손뗄 수 있는 그런것이 아니죠.

[이제 막 빅 데이터 천문학에 발을 들여놓을 사람들에게 조언을 주신다면?]

[07:58] 코딩에 자신감을 가지세요. 그리고 파이썬이 요즘은 표준이 되가는 것 같아요. 파이썬 언어가 가진 공개 소스의 본성은 아주 강고하고 이후로도 상당기간 지속될 거라고 생각 합니다. 저는 파이썬을 사용이 아주 익숙해요. 그리고 버젼 관리에 대해 더 배울 겁니다. 그리고 데이터 베이스 코딩도 배우려고 하는데 일테면 깃허브(GitHub) 같은 거요. 그리고 그것을 어떻게 활용 할지도 배워야죠. 많은 사람들이 코딩은 쉽다는 것과 도움이 된다는 것을 깨닳고 있어요. 더 많은 사람들이 어렵다고 생각하고 있기도 하죠. 하지만 여전히 노력하고 있고 해야할 필요성을 가지고 있어요. 그렇죠? 백만번 반복하지 않는한 컴퓨터를 부수지는 않을 겁니다. 시작부터 백만번 반복하진 마세요. 컴퓨터 활용에 능숙한 천문학자가 있는데 어떤일을 주면 그는 어떻게 시작할지 알고 있죠. 그들은 그 문제의 꼭데기에 서있어서 어떻하면 문제를 풀지 알고 있습니다. 내말은 이런 천문학자들은 천문학자로서 오래 머물 필요는 없다는 거죠. 희망컨데 빅 데이터 관련 회사에 가서 일하며 더 많은 돈을 벌길 바래요. 이런 일이 아주 재미있을 수도 있고 내가 보기에도 즐겁군요. 요즘은 세상 문제를 빅 데이터로 풀고 있습니다.

[09:11] 두번째 조언이라면 당신이 하는 일에 소통하길 간과하지 말라는 겁니다. 당신의 이야기를 들어줄 다른 사람들이 있다는 것을 기억하세요. 따라서 여러분은 당신의 연구에 대해 동료들과 어떻게 소통할지 배울 필요가 있죠. 그리고 다른 그룹의 사람들과도 어떻게 소통할지 배워 둘 필요가 있어요. 그리고 다양한 청중들과도 소통하는 연습을 더 많이 해야한다고 생각 합니다. 당신이 하고 싶은 이야기를 청중에 맞추는 능력을 갖추는게 좋겠죠. 청중에 맞춰야 합니다. 그리고 그 청중들이 여러분의 연구 지원서를 심사할 지도 모릅니다. 그들이 바로 여러분이 소통해야할 청중입니다. 이는 학구적 직업을 얻는데 아주 중요합니다. 학술 지원금을 얻어야 하니까요. 하지만 인생을 즐기는 것도 그만큼 중요합니다. 그러니까 코딩과 소통은 사람들이 기억하길 바라는 두개의 중요한 화두 입니다. 그것이 물리학과 천체물리학 지식의 바탕위에 필요한 겁니다.

6주/요약

[커세라 강좌 소개] 자료기반 천문학(Data-Driven Astronomy)
-----------------------------------------------------------------
Week 6: Learning from data: classification
제6주차: 자료에서 정보 얻어내기(자료분류)
- Using machine learning tools to classify your data
  수집한 자료를 분류하기 위해 기계학습 도구(분석 소프트웨어)를 활용하기
- Investigating different types of galaxies
  서로다른 종류의 은하 찾기
-----------------------------------------------------------------
1강: 관측 자료 분류(Classification)
Lesson 1: Learning from Data: Classification / 한글자막
-----------------------------------------------------------------
Lesson 2: Types of Galaxies / 한글자막
-----------------------------------------------------------------
3강: 형태에 따른 은하 분류
Lesson 3: Morphological Classification of Galaxies / 한글자막
-----------------------------------------------------------------
4강: 결정 트리 분류기의 한계
Lesson 4: Limitation of Decision Tree Classifier / 한글자막
-----------------------------------------------------------------
5강: 개선된 앙상블 분류기
Lesson 5: Improving your result with Ensemble Classifier / 한글자막
-----------------------------------------------------------------
6주 요약
Week 6 Module Summary / 한글자막 / 영문자막


[강의대본]

6주/5강: 개선된 앙상블 분류기

[커세라 강좌 소개] 자료기반 천문학(Data-Driven Astronomy)
-----------------------------------------------------------------
Week 6: Learning from data: classification
제6주차: 자료에서 정보 얻어내기(자료분류)
- Using machine learning tools to classify your data
  수집한 자료를 분류하기 위해 기계학습 도구(분석 소프트웨어)를 활용하기
- Investigating different types of galaxies
  서로다른 종류의 은하 찾기
-----------------------------------------------------------------
1강: 관측 자료 분류(Classification)
Lesson 1: Learning from Data: Classification / 한글자막
-----------------------------------------------------------------
Lesson 2: Types of Galaxies / 한글자막
-----------------------------------------------------------------
3강: 형태에 따른 은하 분류
Lesson 3: Morphological Classification of Galaxies / 한글자막
-----------------------------------------------------------------
4강: 결정 트리 분류기의 한계
Lesson 4: Limitation of Decision Tree Classifier / 한글자막
-----------------------------------------------------------------
5강: 개선된 앙상블 분류기
Lesson 5: Improving your result with Ensemble Classifier / 한글자막 / 영문자막

[강의대본]



[00:06] 지난번 강의에서 은하 분류기의 성능을 기본수준까지 맞춰봤다. 분류기는 슬로언 디지털 스카이 서베이에서 추출한 소수의 특징들을 가지고 만들어졌고 분류기준(gold standard)자료는 은하 동물원에서 가져 왔었다. 아마도 이 기본 분류기를 가지고 실험하면서 인지 했겠지만 그 분류의 정확도가 학습에 사용하기 위해 무작위로 고른 표본에 따라 정확도가 매우 크게 달라진다. 이런 불안정성(instability)의 원인 중 하나는 결정 트리가 잡음(noise)에 매우 취약하여 과학습(overfitting)되는 경향이 있기 때문이다. 이 '잡음'은 은하 동물원의 분류 자원참여자에 의한 오분류 일 수도 있고 관측에서 나온 물리적 특징일 수도 있다.

[00:47] 그렇다면 잡음 자료로 인해 과훈련될 수도 있는 기초 분류기에서 벗어난 이런 엉뚱한 자료에 강한 분류기를 만들 방안은 무엇인가? 가장 흔하면서 간단한 기법중 하나로 합주(ensemble, 앙상블)학습이 있다. 다수의 (결정 트리)모형을 학습시켜 그 결과를 취합하는 방식이다. 분류는 투표방식(voting)이 보통이고 취합(aggregation)은 대개 각 합주 학습자의 평균을 취한다. 합주 학습(ensemble learning)의 이면의 의도는 다수의 취약한 학습자들이 협력하는 분류기를 만들어 좀더 믿을 만하고 탄탄한 결과를 가져올 수 있게 하는 것이다. 비록 완벽하지 않는 학습자료에도 그리고 학습과정에서 어떠한 막연한 자료가 있어도 잘 견디길 바란다.




[01:26] 합주기가 개별 분류기보다 더 잘 작동하기 위해 합주 참여자는 몇가지 면에서 다른 측면을 가져야 한다. 즉, 개별 분류기마다 다른 결과를 낳는 것이어야 한다. 각 자료마다 모두 똑같은 결과를 내면 여럿을 합쳐봐야 결국 같을 것 아닌가. 이렇게 독립적인 (결정)모형을 만드는 여러 방법이 있는데 서로 다른 학습 알고리즘(different algorithm)을 사용하거나 서로다른 인수(different parameter), 말하자면 트리의 깊이를 다르게 한다던가 다른 학습 자료를 사용한다. 가장 널리 사용되는 방법중 하나로는 무작위 복원추출 취합(bootstrap aggregating) 혹은 줄여서 배깅(bagging)이라고 한다. '배깅'에서 학습 자료들은 무작위 복원추출된다(대규모 학습자료에서 표본을 무작위로 봅아 분할된 훈련을 시킴.) 다른 말로하면 원 학습자료에서 복원추출 했다는 뜻이다. (결정트리)모형은 복원추출된(selected with replacement) 표본을 가지고 학습된다. 배깅은 개별적인 학습자료로 훈련 하였으므로 서로 다르게 학습한 사례임을 강조한다(대상 학습자료 전체에서 무작위로 추출하여 훈련한 개별적인 분류기를 여러개 가지게 된다).

* 80년대 말에서 90년대 신경망이 세상을 휩쓸더니 요즘은 기계학습이 그렇다. 기계학습을 다루는 블로그와 동셩상이 넘쳐나는 세상이다.
- 배깅(bagging): 전체 데이터에서 무작위 복원추출(sample with replacement)한 표본으로 훈련한 하위 분류기들의 취합하는 기계학습의 한 방식
- 복원추출, sample with replacement 한번 뽑았던 표본을 다시 넣고 뽑을 수 있음. 'Bootstrap'(자발적으로~하다)와 같은 의미임.
- 통계분석의 기초를 알려면 수학능력 시험의 '확률 통계'를 공부하자.

[02:12] 랜덤 포레스트 분류기(Random Forest Classifier)는 교사학습(Supervised Learning) 알고리즘이다. (한 목적을 가진)여러개 결정 트리 분류기가 조화를 이룬다. 무작위로 추출한 표본으로 학습된, 이를 배깅이라하는데, 각 결정 지점에서 특징의 일부를 선택하여 만든 분류기들이 조화를 이룬다. (제각기 자란 여러 나무, 트리 들이 모여 숲, 포레스트 를 이룬다.)

[02:29] 사용할 프로그래밍 언어와 라이브러리에 따라 랜덤 포레스트에 변화를 줄 수 있다. 예를 들어 싸이킷(Sci-kit, 파이썬의 과학관련 라이브러리)은 배깅 기법을 사용하여 랜덤 포레스트를 실행하지만 R 은 특징선택(Feature selection)을 사용한다. 따라서 우리의 목적인 은하분류의 예에 랜덤 포레스트 기법을 쓰도록 하자.

* R 은 통계분석과 그래픽을 위한 언어 환경이다. (https://www.r-project.org/about.html)
* "Feature Selection with the Caret R Package"

[02:45] 우리는 확실히 예전과 동일한 특징과 방법론을 사용 할 수 있지만, 랜던 포레스트 분류기를 결정 트리 분류기에 대체하기로 한다. 우리는 (랜덤 포레스트를) 설정하기 위해 추가로 몇가지 변수를 더 사용 하겠지만 중요한 점은 다수의 결정트리(나무)를 가지고 랜덤 포레스트(숲)를 꾸밀 것이다. 중요한 점은 원자료에서 (다수의 트리를 훈련 시켜야 하므로) 더 많은 표본을 활용할 것이고 잡음(noise)과 과훈련(overfitting)의 문제에 더 강하게(robust) 된다. 봐서 알겠지만 우리가 얻은 랜덤 포레스트의 결과는 언뜻봐도 개별적인 결정트리보다 훌륭하다.

* 결정 트리분류기의 결과

* 앙상블 분류기의 결과



[03:13] 훈련과 예측에 걸리는 시간이 증가하는 것과는 별개로 숲에 있는 나무의 수에 직접 관련있는 (훈련에 드는)비용은 싸이킷을 실행해서 얻는 결과에 비하면 아무것도 아니다. 랜덤 포레스트의 결과로 얻은 혼란행렬을 들여다보면 양성 참(true positive)을 나타내는 사선의 모든 숫자가 매우 높아졌다는 것을 알 수 있다. 하지만 조화(ensemble)에 참여한 각 분류기는 투표(voting)에 참여한다. 가장 빈도수가 높은 것을 골랐을 뿐만 아니라 전체 분류항목에 걸친 투표수의 분포를 본다. 이는 분류가 옳았을 예측확률의 계산을 가능케 한다. 그리고 (랜덤 포레스트 분류) 시스템이 어떤 실험 사례가 분류하기 특히 어려워 했는지 알 수 있게 보여준다.

[03:51] 또한 확률은 특이자료(outlier)를 확인 할 수 있게 해준다. 그 특이자료란 우리가 훈련중인 어떤 급(부류)에도 속하지 못할 예외 객체이다. 이러한 예외적인 드믄 대상을 구별해 내주면 향후 과학적 연구 대상을 알려주는 것이어서 매우 유용하다.

[04:04] 이번 강좌에서 기계학습의 이면에 어떤 일이 벌어지는지 살펴보고 더 많은 것을 배웠다. 은하 분류의 결과를 개선할 수 있는 다양한 방법이 있다는 것도 알게됐다. 그리고 우리는 과제를 동해 좀더 많은 것을 접해봤다. 긍국적으로 분류의 목적은 우리의 우주에 대한 물리적 이해를 증대시키는 것이라고 하겠다. 은하의 외형적 분류는 은하의 형성(formation)과 진화(evolution)를 이해하는데 큰 도움이 된다. 오늘날 우리가 관측하는 은하는 어떻게 그런 모습이 됐을까? 우리는 작은 은하들이 뭉쳐서 계층적 분류화(시간상의 진화에 따른)와 거대한 은하의 형성에 대하여 일부나마 알고 있다. 또한 우리는 나선은하에서 별들이 탄생이 진행중이라는 것을 설명하기 위한 은하 내부에서 어떤 과정이 필요한지 알게됐다. 우리가 생각해낸 은하 형성의 어떤 모형도 우리가 우주를 내다보며 관측한 다양한 외형의 수많은 변형을 다 설명하진 못한다.

2018년 7월 29일 일요일

6주/4강: 결정 트리 분류기의 한계

[커세라 강좌 소개] 자료기반 천문학(Data-Driven Astronomy)
-----------------------------------------------------------------
Week 6: Learning from data: classification
제6주차: 자료에서 정보 얻어내기(자료분류)
- Using machine learning tools to classify your data
  수집한 자료를 분류하기 위해 기계학습 도구(분석 소프트웨어)를 활용하기
- Investigating different types of galaxies
  서로다른 종류의 은하 찾기
-----------------------------------------------------------------
1강: 관측 자료 분류(Classification)
Lesson 1: Learning from Data: Classification / 한글자막
-----------------------------------------------------------------
Lesson 2: Types of Galaxies / 한글자막
-----------------------------------------------------------------
3강: 형태에 따른 은하 분류
Lesson 3: Morphological Classification of Galaxies / 한글자막
-----------------------------------------------------------------
4강: 결정 트리 분류기의 한계
Lesson 4: Limitation of Decision Tree Classifier / 한글자막 / 영문자막

* 이번 강좌의 번역본 컴퓨터 과학분야의 전문용어들으이 영어 음독을 그대로 사용하였다. 영어의 원뜻 조차 애매한 마당에 굳이 우리말로 옮기려고 하니 어색함을 넘어 억지스럽다. 두루마기에 중절모가 익숙해지기까지 기다린 만큼 기다린들 소용 있을까 싶다.

[강의대본]



[00:05] 이제까지 은하 동물원(Galaxy Zoo) 계획의 일부로 자원자들에 의해 분류된 많은 양의 은하들을 보아왔다. 그 은하들을 특정하거나 은하들을 잘 구분 할 수 있는 몇가지 특징들을 추출하여 결정 트리 분류기를 훈련시키고 첫 결과물을 얻었다.

[00:23] 이 결과들은 단일 분류기가 보여준 정확도 숫자 이상의 의미가 있을까? 예를 들어, 분류하기 어려운 은하의 형태가 따로 있는 것일까? 기계학습의 결과를 보여주며 이와 같은 질문에 답을 구하는 일반적인 방법의 하나로 혼란행렬(confusion matrix)이 있다. '혼란행렬'은 훈련에 사용한 표준자료(gold standard)중 옳게 인식된(true label) 것과 분류기에서 예측된(predicted label) 것 사이의 관계를 도식화 하여 보여준다.


* 혼란행렬(confusion matrix)은 기계학습 분야에서 '분류'의 결과를 도식적으로 보여줌으로써 알고리즘의 성향을 한눈에 알 수 있다. (https://en.wikipedia.org/wiki/Confusion_matrix)

[00:50] 우리의 혼란행렬은 한 은하가 제대로 분류된 경우와 잘못 분류된 경우를 도식적으로 보여주는데, 예를들어 원래(True label)의 타원(elliptical)은하가 학습된 분류기(Predicted label)에서도 타원은하로 분류된 경우(117), 충돌은하로 분류된 경우(13) 그리고 나선은하로 분류된 경우(0)을 한 행에 보이고 있다.



[00:55] 그리고 얼마나 많이 틀리게 다른 형으로 분류되었는지 알 수 있는데, 혼란 행렬에서 보면 우리의 분류기는 타원은하(117)를 나선은하(98) 혹은 충돌은하(85) 보다 수월하게 분류해 낸다. 그리고 나선과 충돌이 더 쉽게 혼란을 잃으킨다.(나선은하를 충돌은하로 분류한 경우가 29, 충돌을 나선은하로 분류한 경우는 32)

[01:11] 혼란행렬을 통해 전체적인 정확도(accuracy), 정밀(precision), 그리고 회수(recall)의 계산이 가능하다. 그리고 각 범주의 정확도 계산도 가능하다.

* 3주 3강, 기계학습의 기초, '기계학습의 평가' 참조.




[01:18] 혼란행렬에서 사선의 칸은 참-양성(true positive) 그러니까 예측된 급(predicted class)과 참 급(true class)이 일치한 경우다. (학습에 사용된 인간 전문가의 분류와 학습된 기계 분류기의 결과가 일치) 일치한 것 이외의 칸은 나머지 열(column)의 합인 거짓-양성(false positive)과 그리고 행(row)의 취합인 거짓-음성(false negative)다.

[참고] 기계학습이 최신의 기술인 만큼 용어가 너무 생소하다.
1. Confusion Matrixhttps://en.wikipedia.org/wiki/Confusion_matrix
3. 학습된 기계 분류기(classifier)가 제 역활을 하는지 평가하는 방법에 관하여 아래 동영상을 보자. 단 15분짜리다.


그리고 본 강좌의 내용을 살펴 보자.

* 참(true)과 거짓(false): 표준자료(gold standard)에 붙는 표시(label)
* 양성(Positive) 과 음성(Negative): 기계학습 분류기의 판정 결과에 붙는 표시(label)
* 양성-참(True Positive): 실제와 예상(기계분류)이 일치한 경우
* 양성-거짓(False Positive): 잘못 분류된 것(incorrectly identified)
* 음성-거짓(False-Negative): 잘못 거부된 것(Incorrectly rejected)



* False Positive은 열(column)로 실제 'elliptical'이 'merger'로 분류된 것(13)과 'spiral'이 'merger'로 분류된 것(29)을 합쳐 42
* False Negative는 행(row)으로 실제 'merger'인데 거부되어 elliptical로 된 것(13)과 spiral로 된 것(32)을 합쳐 45

[01:33] 그렇다면 이 결과가 잘 나온것인지 어떻게 알까? 이에 대한 답은 응용에 달렸다. 하지만 수긍 할 만한 몇가지 일반적인 지침(guidelines)은 있다. 절대 최소 기준 정확도로서 고려할 만 한 정도는 무작위로 할당하여 만든 테스트 세트를 분류하여 얻은 결과다. 우리의 예에서 세가지 급(merge, elliptical, spiral)을 가지고 있는데 공평하게 할당 되었다면 정확도의 최소 기준은 33%가 될것이다. (아주 공평하게 쳐서 1/3의 확률) 우리는 분명히 그보단 잘 할 것이다. 만일 확실히 분명한 급이 있다면 모든 것을 그쪽에 배당하여 기준을 좀더 확실히 높일 수도 있다. (예측을 알고 그에 맞추면 결과의  '조작'이다) 하지만 우리는 (조작이 아닌) 무작위의 경우보다 더 좋은 결과를 목표 한다. 따라서 기계학습 연구자들이 사용하는 좀더 수긍할 기저선 시스템은 과하게 조정하지 않고 느슨한 해결책(naive solution)을 실행하는것이다.

[02:14] 그런 후에야 모든 향후 개선될 결과를 이 기준선과 비교가 가능하다. 또한 가장 가능한 정확도를 고려하길 원할 것이다. 이를 측정하는 한가지 방법은 인간 전문가에 의한 분류의 정확도를 사용하는 것이다. 같은 자료를 주고 다수의 사람들에게 분류를 시킨 후 평가해 볼 수 있다. 그런 다음 주석자 간 합의(inter-annotator agreement)라고 부르는 것을 계산한다. 만일 이것을 선택하지 않을 거라면 같은 자료묶음을 잠시 말미를 두고 다시 분류할 수 있다. 그리고나서 스스로 합의 수준을 계산한다. 대개 시작은 최소 기준과 인간 전문가의 결과 사이에서 시작할 것이다. 그런 후에 특징 추출을 향상시키고 정확도를 높이기 위해 사용했던 기계학습 알고리즘의 개선하는 작업에 작수하게된다.

[02:56] 하지만 때로 예기치 못한 일도 생긴다. 처음 결과가 너무 좋게 나온 것이다. 기본 분류기를 사용했는데 결과가 99%가 나왔다면 앞으로 갈길이 몇가지 있다. 첫째 선택지는 문제가 너무나 너무나 쉬운거 였을지 모른다. 아마도 이렇게 빨간 원과 파란 삼각혀으을 구분하는 일 쯤이지 않았을까 싶다. 이 둘의 차이를 보여줄 특징을 잡아내기는 아주 쉽고 사람 이라면 100%의 확률이다. (기계는 99%) 이런 경우 아마 전혀 기계학습 따위를 할 필요조차 없다. 쉽게 문제를 풀 기본 시스템 규칙을 작성할 수 있다. 이를 하찮은 분류의 문제라고 부르자.



[03:37] 실제적인 천문학계의 임무에서 더 자주 있을 법한 문제는 방법론에서 실수를 범해왔다는 점이다. 예를들어 훈련 과정에서 표준자료 누출(gold standard leakage)이 발생한다. 누출은 표준(기준)정보, 그러니까 기준급(correct class)에서 시험급(test class)으로 정보가 새나갈 때 발생한다. 분류기는 새어나간 자료를 속임수의 용도로 쓰는데 시험전에 문제가 유출된 꼴이다. 이런 실수의 가장 간단한 경우는 특징의 한 세트를 (시험)항목에 포함시킨 경우다. 또는 별도의 시험용 자료 대신 분류기를 학습에 사용한 그 자료를 그대로 써서 평가한 경우다.

[04:08] 그럼 분류기의 평가가 높게 나왔지만 분류기를 전체 데이터 세트에 적용 했을 때 그 결과가 예상했던 것보다 더 나쁘게 나올수 있을까? 이에는 몇가지 가능성이 있다. 첫째, 사용한 학습과 시험용 세트가 실제로 온전한 데이터 세트를 대변하지 못했다. 훈련된 모형이 자료에 제대로 대응하지 못했다. 이는 시험 세트가 아마도 데이터 실제 분포에 잘못된 정확도의 영향을 주었다는 뜻이다. 두번째, 기계학습자가 제공해준 자료를 너무 과하게 훈련(overfitting) 시켰다. 아주 복잡한 모형은 훈련용 자료에는 아주 잘 작동 할 지 몰라도 처음본 자료에 대해 적용하기에 일반화가 않되었다. 예를 들어 아주 깊이 가지를 뻗은 결정 트리는 훈련 자료에 아주 정확하게 반응한다. 반면 일반성을 얻는데 실패하였고 훈련과 (조금이라도)다른 경우에 대해 필요한 일반성이 결여(유연하지 못함)된다. 끝으로 최상의 기계학습자를 선택하는 과정에서 특정 훈련 세트로 최적화를 수행 했을텐데 그것이 실제 분포(real distribution)가 아니다. 이는 크게보면 극복할 수 있다. 구축한 시스템을 시험하기 위해 열번 접기 교차 증명(10-fold cross validation)을 실시한다. 또는 최종 모델을 시험하기 위해 별도의 제공된 시험 세트를 준비한다.


[05:17] 그럼 해결책은 무었인가? 우리는 결정 트리를 세우고 과적용(overfitting)같은 문제에 강하게 만들 수 있는 방법이 없을까? 다음 강의에서 랜덤 포레스트 분류기(random forest classifiers)를 다뤄보기로 한다. 이는 과적용의 우려를 줄여주는 외에 아주 굉장한 잇점을 있는데 그어떤 급에도 포함될 수 없는 예외자(outliers)를 찾아내는 능력도 탁월하다. 그리고 우리의 분류에 가능성을 할당하는 능력도 갖추었다.

------------------------------------------------------------------------
[과제] 손으로 은하 분류 해보기/Classify some galaxies by hand!

Before you launch into machine learning classification it is a good idea to build some intuition about classification, and the best way of doing that is to classify some galaxies by hand.

기계학습 분류를 시작하기 전에 은하의 분류가 어떻게 이뤄지는지 알아보기 위해 손으로 은하를 분류해 보자.

For this activity we're going to participate in Galaxy Zoo, a worldwide citizen science project. As well as learning about classification, you'll be contributing to science at the same time!

세계적 시민 과학 계획인 은하 동물원(Galaxy Zoo)에 참여해 보기로 한다. 은하를 어떻게 분류하는지 배우고 동시에 과학 연구에 기여할 수 있다.

Update: Unfortunately the original Galaxy Zoo classification project is having a break (due to all the galaxies being classified). As an alternative, we suggest having a go at the Radio Galaxy Zoo. Although the classification problem is not the same, it will still give you some insight into the challenges of manual classification.

갱신사항(2018년 7월 30일현재): 관측된 사진의 모든 은하들의 분류가 완료되어 은하동물원 계획이 중단 되었다. 그대신 전파 은하 동물원 계획에 참여하기 바란다. 이 계획은 은하의 외형구분과 차이가 나지만 수동 분류가 어떤 것인지 경험해볼 수 있다.

To do this activity use this URL instead:

이 활동에 참여하려면 다음의 링크를 따라가 보라: https://radio.galaxyzoo.org/

--------------

Original instructions

To do this activity:

1. Go to the main Galaxy Zoo classification page: https://www.galaxyzoo.org/#/classify.

2. Try classifying 10-20 galaxies (or however many you have time for).

3. Read the blog post on the Galaxy Zoo classification decision tree (for humans): https://blog.galaxyzoo.org/2015/04/06/visualizing-the-decision-trees-for-galaxy-zoo/.

4. Contribute to the discussion point on the forums.

5. If you want to do further reading on machine learning classification, and on the science that comes from Galaxy Zoo, there are a list of Galaxy Zoo publications here: https://www.zooniverse.org/about/publications.

Reflecting on the challenges of manual classification is a good way of thinking about good feature selection strategies for automatic classification systems.

6주/3강: 형태에 따른 은하 분류

[커세라 강좌 소개] 자료기반 천문학(Data-Driven Astronomy)
-----------------------------------------------------------------
Week 6: Learning from data: classification
제6주차: 자료에서 정보 얻어내기(자료분류)
- Using machine learning tools to classify your data
  수집한 자료를 분류하기 위해 기계학습 도구(분석 소프트웨어)를 활용하기
- Investigating different types of galaxies
  서로다른 종류의 은하 찾기
-----------------------------------------------------------------
1강: 관측 자료 분류(Classification)
Lesson 1: Learning from Data: Classification / 한글자막
-----------------------------------------------------------------
Lesson 2: Types of Galaxies / 한글자막
-----------------------------------------------------------------
3강: 형태에 따른 은하 분류
Lesson 3: Morphological Classification of Galaxies / 한글자막 / 영문자막

[강의대본]



[00:07] 우리는 지난 강좌를 통해 결정 트리가 어떻게 작동 하는지 개략적으로 알고있다. 이번 강의는 그 지식을 오래된 문제인 은하의 분류에 적용해 보려고 한다. 슬로언 디지털 스카이 서베이에서 은하 사진을 가져다 우리의 수동분류에 쓰기로 한다. 각 은하는 은하 동물원 계획(Galaxy Zoo Project)의 일부로 자원자들에 의해 분류되었다. 그중에서 상당히 신뢰성 있는 소자료를 (학습용으로) 골랐다. 그러니까 대부분의 자원자들과 같은 (분류) 조건을 선택했다.



[00:38] 세가지 종류로 은하를 나눴는데, 타원, 나선 그리고 충돌(merge)의 증거라 볼 수 있는 불규칙 은하의 영상이다. 각 은하마다 다섯개의 슬로언 필터로 찍은 영상이 있다. 이에 덧붙여 몇가지 조정된 매개변수가 있는데 슬로언 자료 축약 절차의 일부에서 계산된 것이다. 이에 대해서는 다음에 자세히 설명하겠다.



[00:59] 기계학습 분류기를 학습시키기위해 몇가지 속성과 특징에 따른 각 은하를 특성화할 필요가 있다. 지난 강좌에서 결정 트리 회귀(regression)을 다룰 때 단지 네개의 슬로언 색차를 사용 했었지만 이번에는 좀더 풍부한 특징을 활용 할 것이다. 결정 트리 알고리즘은 이런 특징들을 받아들여 바른 분류로 사상하는 모형을 구성하는데 우리가 가진 학습용 자료가 사용될 것이다. 그리고 실제 미지의 자료에 대해 적용하기 전에 우리가 가진 분류기의 정확성을 평가하기 위해 열번 접음(10-fold) 교차 검증(cross validation)을 수행한다. 따라서 전체적인 방법론은 매우 명확하다. 기본적으로 교사 기계 학습에서 해봤던 과정과 같다.

[01:37] 과학자의 관점에서 가장 많이 생각을 해야할 지점은 특징의 선택이다. 견본 자료에 있는 은하를 가장 잘 표현할 방법은 무엇인가? 이에 대해 생각해보는 한가지 방법은 만일 내가 손으로 분류작업을 할 때 나라면 어떻게 할까 라는 생각을 해보는 것이다. (대부분 프로그래머들이 알고리즘을 개발할 때 '나라면?' 이라는 질문부터 시작한다. 풍부한 경험과 배경지식을 가진 개발자만이 조은 코딩 경과를 낼 수 있다.)

[01:55] 은하 동물원은 분류 자원자들이 수월하게 따라 할 수 있도록 결정 트리를 아주 훌륭하게 시각화 해놨다. 이 트리는 매우 높은 (추상화)수준(abstraction level)에서 시작한다. 영상속의 대상이 동그란지, 원판처럼 보이는지 또는 별인지 묻는다. 그리고 나서 두개의 큰 부류로 나누는데 둥근 것 과 원반 같은 것, 이어서 구체성이 높은 질문들이 이어져 최종 분류가 이뤄지도록 도와준다.



[02:21] 서로다른 수천명의 자원자들이 참여하는 경우 이와 같은 정형화된 도표는 필수다. 비록 개별의 전문 분류자 일지라도 분류의 일관성(consistency)을 증대시키기 위해서 이런 정형화는 가장 훌륭한 시도다. 그에 덧붙여 인간 결정 트리와 컴퓨터(기계학습된 자동분류)의 중요한 차이가 있다. 인간은 도식을 따르는 과정에서 질문이 좀 이상하다고 생각되면 자기 스스로의(경험에 의거) 결정을 내릴 것으로 예상된다. 하지만 기계학습 알고리즘은 특징과 질문은 수치화 될 필요가 있다. 그러므로 자동 분류에 사용하게 될 특징에 대해 생각해보자(따져보자).

* 비록 정형화된 지침이 있더라도 인간은 작업 수행과정에서 사심이 개입될 수 있다. 이상한 입력에 대해 재고할 수 있지만 기계은 오직 수치로 판단한다. 따라서 기계에 사용할 수치화된 특징에 심각하게 고려되어야 한다.

[03:00] 마도 가장 간단한 (특징 선택)조건(옵션)은 은하 영상 속의 모든 픽셀을 활용 하는것이다. 그리하여 우리가 512X512짜리 영상이 슬로언 다섯개 필터로 찍은 다섯개가 있다면 각 은하마다 총 1백 30만개(1,310,720)의 특징을 가진 셈이다.



이렇게 원영상의 화소점을 특징으로 잡고 접근하는 방법은 몇가지 장점이 있다. 먼저, 특징 선택시 끼어들지도 모를 편견(bias)을 가능한 최소화 한다. 두번째, 복잡한 영상 분석(image analysis)을 수행할 필요가 없이 영상을 있는 그대로 활용 할 수 있다.

[03:35] 하지만 여기에는 단점도 있다. 편견이 끼어들 여지를 두지 않음과 동시에 단점으로 우리가 가진 천문학 전문지식을 활용하지 못한다. 원 영상의 화소를 그대로 사용하면 이 문제에 대한 이제까지의 천문학적 지식을 활용 할 수 없다. 예를들어 늙은 별들이 많은 타원은하의 색이 적색 계열을 띈다는 지식을 활용할 수 없다. 두번째 단점으로는 계산에 관한 것이다. 모든 화소를 특징으로 사용한다는 뜻은 문제의 (복잡도)차원을 감소기킬 수 없다는 것이며 계산비용이 비싸게 먹힌다. 백만개에 이르는 특징에 대하여 모형을 세워야 한다. 현대의 컴퓨터 계산능력 덕에 이렇게 원시 정보를 가지고 접근하는 방법을 가능하게 하고 실제로 영상 분류에 매우 성공적이긴 하다.

[04:16] 좀더 많은 것을 알기 싶다면 딥 러닝 분야에 많은 자원을 제공되어 있으니 참고하자. 하지만 이번 예에서는 특징 추출(feature extraction)에 관헤서 집중하기로 한다. 허블도 말했듯이 성곡적인 분류의 척도은 크게 분류를 위해 선택한 특징의 중요도에 달렸다.



[04:34] 이점을 염두에 두고 우리는 어떤 특징을 활용할까? 몇가지 중 확실한 것은 은하의 색이다. 이 특징은 허블도 사용할 수 없었다. 그가 사용한 사진은 단지 한가지 색의 밝기를 측정 했을 뿐이다(흑백 사진건판). 하지만 오늘날의 우리는 은하내에 속한 별들의 나이를 알려주는 진짜 중요한 표지를 알고 있다.



[04:54] 두번째는 은하의 타원율(ellipticity)이다. 우리는 타원 맞춤을 통하여 은하의 형상에 대한 개략적 정보를 갖게됐다. 그로부터 장축 및 단준의 비율을 따져서 이 형상을 특징화 한다. (타원의 일그러짐으로 막대(Bar)로 진화하는 정도를 예상해 볼 수 있다.)



[05:08] 그리고 끝으로 은하의 밝기 분석표(profile)이다. 은하의 중심부에서 반경을 따라 밝기의 변화를 함수로 세울 수 있다. 이 특징(밝기 함수)은 은하 영상을 보며 구분하는 인간의 눈을 (컴퓨터에서)재현 할 때 활용된다.



[05:25] 이제 인간의 관측이 그렇지만 모든 특징들은 저마다 한계를 가지고 있다는 것을 기억하자. 예를 들어 은하의 타원율은 보는 각도에 따라 달라진다. 그런 한계가 있어도 괜찮은 것이, 각 특징들은 분류기가 모형을 만들때 사용하는 전체 정보의 일부분을 담당하기 때문이다.




[05:43] 이제부터 우리가 사용할 특징들 만을 논하기로 하자. 사용할 특징들을 표에 나타내었다.



[05:49] 우리는 은하의 외형, 그러니까 타원, 나선 그리고 충돌을 가지고 이제 결정 트리 분류기를 훈련 시켜보자. 열번 접이 교차 증명(10-fold cross validation)으로 우리가 만든 결정트리의 정확도를 평가했다. 그리하여 우리의 결론은 다음과 같다.



[06:01] 인수들을 뽑아내 복잡한 특징 추출이나 최적화를 실시하지 않고도 시험 대상 중 5분의 4가량을 타원 충돌 은하로 분류해냈다. 첫 시도치고는 괜찮은 결과다. 다음 강의에서 좀더 깊이 있게 이 결과의 의미를 따져보기로 한다.

2018년 7월 28일 토요일

6주/2강: 은하의 형태 종류

[커세라 강좌 소개] 자료기반 천문학(Data-Driven Astronomy)
-----------------------------------------------------------------
Week 6: Learning from data: classification
제6주차: 자료에서 정보 얻어내기(자료분류)
- Using machine learning tools to classify your data
  수집한 자료를 분류하기 위해 기계학습 도구(분석 소프트웨어)를 활용하기
- Investigating different types of galaxies
  서로다른 종류의 은하 찾기
-----------------------------------------------------------------
1강: 관측 자료 분류(Classification)
Lesson 1: Learning from Data: Classification / 한글자막
-----------------------------------------------------------------
2강: 은하의 형태 종류
Lesson 2: Types of Galaxies / 한글자막 / 영문자막

[강의대본]



[00:04] 천여년 전에 페르시아의 천문학자 아브 알 라만 알 수피( Abd al-Rahman al-Sufi)가밤하늘에서 확장된 구조의 천체를 관측 했는데 지금은 안드로메다 은하라고 알고 있는 작은 구름 이었다.

[참고] "우리은하 파노라마 사진"



[00:16] 수세기가 지나는 동안 더많은 이런 구름들이 발견되었으나 천문학자들이 그것이 우리은하 내에 있는 단순한 천체가 아니라고 확신을 세우기까지 9백년이 걸렸다. 이런 천체들은 모두 외계은하 였던 것이다. 점점더 많은 은하들이 발견되자 특히 19세기에서 20세기에 천문학자들은 매우 다양한 외형 혹은 형태학적 특징(morphology)을 가진 은하들을 발견했다.



[00:41] 어떻게 은하들이 형성되고 진화해 나가는지 이해하는 첫걸음으로 천문학자들은 비슷한 외형을 가진 은하들끼리 묶어 분류하기 시작했다. 형태학적 분류 도해(Morphological Classification Scheme)를 만들기 위해서였다.



[00:52] 그중 가장 유명한 것으로 허블 소리굽쇠(분류도 모양에서 기인된 명칭임)다. 허블은 은하들은 두가지로 분류 했는데 타원은하(Elliptical)와 나선(Spiral)은하 였고 그 중간 형태로 S0 급이라 명명한 배흘림(lenticular,렌즈형)은하가 있다. 타원형과 배흘림형 은하를 합쳐 은하의 초기형이라고 알려졌다. 단지 그 외양이 아주 단순했기 때문에 그렇게 이해했다. 그리고 나선 은하는 은하의 후기형이라고 알려졌다. 그 구조가 아주 복잡해 보였기 때문이다.



[01:17] 타원은하(Elliptical Galaxy)는 완만하고 구형(Spherical)의 외양을 가졌고 중심부에 소규모 개체들의 뭉치(구조물, structure)을 가지고 있다. 타원은하들은 구형의 볼록(bulge)한 모습이 대부분이며 확연한 원반(disk)을 찾아볼 수 없다. 타원은하는 다시 겉모습의 납작한 정도에 따라 세분화 된다. 원형에 가까운 은하를 E0급으로 놓고 E7급은 가장 가늘고 길게 늘어진 은하로 두었다.



[01:39] 은하 분류표에서 가장 오른쪽에 놓인 Sd 급의 은하들은 근본적으로 ... 확연한 원반으로 중심부에 눈에 띄게 중심이 볼록하지 않다. 나선은하(Spiral Galaxy)는 한결같이 나선 팔을 가졌음을 보여주는데 하지만 측면에서 보면 팔을 보기는 어렵다. 허블의 소리굽쇠 도를 역으로 따라가보면 나선은하를 정면에서 봤을 때 중심의 볼록함이 점점 증가하고 팔의 간극이 좁아지는 것을 볼 수 있다.



[02:06] 배흘림형(Lenticular, 렌즈형) S0 급 은하는 나선은하와 타원은하의 공통점을 가지고 있다. 흘림 은하들은 볼록함(bulge)이 두드러지고 원반도 확실하게 보인다. 하지만 나선팔은 없다.



[02:17] 많은 은하의 중심부에 길쭉한 사각형 구조를 볼 수 있는데 우리는 이것을 막대(bar) 라고 부른다.



[02:22] 배흘림 은하와 나선은하 모두 막대를 가지고 있거나 없는 경우도 있다.



[02:26] 이런 다양함은 소리굽쇠에 두개의 가지를 뻗는 변화를 가져온다.



[02:31] 그리고 끝으로 불규칙(Irregular) 급 은하도 있다. 이런 불규칙한 모양의 은하들은 앞서 기술한 어느 은하에도 속하지 않는다. 불규칙 은하들은 주로 질량이 낮은 은하들인데 매우 무질서한 구조로 극히 비대칭한 모습이다.



[02:42] 흔치 않는 부류로 충돌(merging)은하가 있는데 두개의 은하가 서로 충돌하는 과정에 있다. 아주 극적인 외형을 보여준다.





[02:53] 그럼 이렇게 은하를 구분하는데 공을 들이는 이유는 뭘까? 원반(disk)과 중심볼록(bulge)은 매우 상이한 과정을 거쳐 형성되었다고 여겨졌다. 어떤 은하는 주로 중심볼록을 가지고 어떤 은하는 원반을 가지게 되었는지 혹은 그 둘이 혼재하는지 이해하려면 그것들이 어떻게 형성되었는지 알면 된다.



[03:09] 원반(Disk)은 대부분 공전하는 별들로 구성되었기에 우리가 나선 은하에서 보듯이 평평한 원형이 되었다. 이들 별들의 원반들이 수십억년에 걸쳐 가스 원반에서 자연스럽게 형성되었다고 본다.



[03:25] 제멋대로 궤도(random orbits)를 가진 별들로 구성된 중심볼록(Bulge)이 구형의 모습을 하게되었다. 중심볼록은 아마도 두개 이상의 은하가 충돌(merge)하여 형성되었을 것으로 보는데 원반 은하에서 내부 동역학 과정(충돌로 인해 중심의 별들의 궤도가 불규칙해짐)에 의한 것이다. 혹은 우주 초기에 거대한 가스구름의 붕괴로 형성된 것일 수 도 있다.





[03:43] 아마도 눈치 챘겠지만 나선은하와 타원은하는 단지 구조상의 차이만 있는게 아니라 그들의 색깔에도 차이가 난다. 나선은하는 청색이 압도하는 반면 타원은하와 배흘림 은하는 적색과 황색이 주를 이룬다.



[03:57] 은하의 색깔은 그 은하에 속해있는 별들의 평균 나이를 말해준다. 무거운 별 일수록 매우 뜨겁고 청백색을 띈다. 하지만 이런 별들은 그들의 가진 연료를 매우 빠르게 소모하고 수백만년 이내에 소멸한다. 저질량 별일 수록 매우 오랫동안 유지되는데 좀더 차갑고 더 붉다. 따라서 청색 나선팔 은하는 최근에 태어난 뜨겁고 무거운 별들로 구성되었고 새 별들이 활발하게 만들어지고 있다. 반면 주로 차가운 별들로 구성된 타원 은하는 붉은 색을 띄며 묵은별들로 새로운 별들이 만들어지지 않은지 십억년이 지났다.

[04:34 별들뿐만 아니라 나선 은하들도 별이 만들어질 연료인 엄청난 가스와 별 형성의 산물인 먼지를 포함하고 있다. 반면 타원은하들은 아주 작은 양의 가스와 먼지를 가지고 있다. 연료와 자재의 부족으로 타원은하에 젊은 별이 많지 않은 이유다.


[04:50] 허블의 소리굽쇠는 은하 분류의 지표로 폭넓게 사용되고 있다. 하지만 아주 심각한 한계를 드러내고 있다. 은하가 측면에 가깝게 볼 수록 나선 팔의 존재를 판단하기 아주 어렵다. 따라서 형태적 분류만으로는 나선 은하와 배흘림 은하를 구분짖기가 어려울 수 있다.



[05:08] 비슷한 이유로 정면에서 봤을 때 원반(disk)과 중심볼록(bulge)을 구분하기 어렵기 때문에 그 은하가 타원 은하인지 배흘림 형인지 결정하기 곤란하다.



* 형태적 분류의 한계는 멀리있는 은하의 희미한 2차원 영상의 한계다. 우리 은하내의 성운 성단의 3차원 영상을 만드는 수준에 있다.

[05:17] 최근 천문학자들은 막대(bar)는 상대적으로 오래가지 못하는 구조라고 믿고 있다.(별들이 은하주위를 빠른 속도로 공전하고 있다. 따라서 막대는 쉽게 무너져 원반형이 된다.) 막대가 존재하던 안하던 물리적인 차이는 거의 없다. 가장 중요한 점은 허블 은하 분류도가 물리적 동기에 기반한 것이 아니다.


[05:30] 그리고 분류도를 따라가기가 특징의 연속성을 보여주는 것도 아니고 은하의 시간적 진화 단계를 나타내는 것도 아니다.(허블 순서도, Hubble Sequence 라고 부르는 것은 잘못이다.)



[05:37] 천문학 연구를 통해 은하의 형성의 물리학적 과정에 더 접근시키고자 노력하고있다.

-----------------------------------
Galaxies - test your understanding
Quiz, 5 questions

Question 1
What type of galaxy contains large clouds of gas and dust, both young stars and old stars, but has no obvious spiral arms or nucleus?
(c)

a) E7
b) Sa
c) Irregular.
d) S0

Question 2
What type of galaxy consists primarily of old stars with very little cool gas and dust?
(a)

a) Elliptical.
b) Peculiar.
c) Irregular.
d) Spiral.

Question 3
Why do spiral galaxies generally appear bluer than elliptical galaxies?
(a)

a) Spirals contain more gas and dust and hence more young stars.
b) Ellipticals contain more gas and dust and hence their starlight suffers more scattering of blue light.
c) Ellipticals are more distant and the starlight undergoes a larger redshift.
d) Spirals contain more older stars than ellipticals.

Question 4
Why does the bulge of a spiral galaxy appear yellowish in colour?
(b)

a) All the blue starlight is scattered away by dense clouds of gas and dust within the bulge.
b) The light of the bulge is dominated by older stars.
c) The light of the bulge is dominated by emission from clouds of gas.
d) The light of the bulge is dominated by the youngest and hottest newly formed stars.

Question 5
Which of the following is not a characteristic of stars in the disk of our Galaxy?
(c)

a) Young stars.
b) Circular orbits.
c) Randomly inclined orbits.
d) Star formation regions.


2018년 7월 27일 금요일

6주/1강: 관측 자료 분류(Classification)

[커세라 강좌 소개] 자료기반 천문학(Data-Driven Astronomy)
-----------------------------------------------------------------
Week 6: Learning from data: classification
제6주차: 자료에서 정보 얻어내기(자료분류)
- Using machine learning tools to classify your data
  수집한 자료를 분류하기 위해 기계학습 도구(분석 소프트웨어)를 활용하기
- Investigating different types of galaxies
  서로다른 종류의 은하 찾기
-----------------------------------------------------------------
1강: 관측 자료 분류(Classification)
Lesson 1: Learning from Data: Classification / 한글자막 / 영문자막


[강의대본]


[00:06] 관측으로 밝혀지기 전부터 우리 은하계와 독립된 섬우주(island galaxy)가 존재한다는 생각이 철학자들을 자극해왔다. 19세기말에서 20세기 초에 새 망원경이 건설되면서 뿌연 성운을 좀더 상세하게 관측이 가능 해졌다. 그 즈음해서 성운(nebula)라는 용어가 뿌옇게 보이는 천체를 일컷는 말로 사용되었다. 그러니까 그 천체는 별이 아니라는 사실을 알게 됐다는 뜻이다. 몇몇 이런 성운들은 사실 우리 은해내의 별무리(성단)이거나 우리 은하 밖의 다른 은하 일 수도 있다. (그 시기의 망원경의 한계로 외부 은하를 구분할 수 없었다.) 이번 주 강의는 이런 뿌연 천체를 성운과 구분하여 은하로 인지해 내는 방법에 대하여 다룬다. (아주 극히 먼 은하는 우주망원경으로 찍어도 여전히 뿌옇다.)  이 사진은 우리 은하 내부의 가스와 먼지의 구름으로 잘 알려진 말목 성운(Horsehead Nebula)이다.



[00:50] 허블의 책, 성운의 왕국(The Realm of the Nebulae)을 보면 눈이 번쩍트이는 통찰력을 찾아 볼 수 있는데 단지 천문학의 관점뿐만 아니라 과학연구 방법론과 분류과정에 관한 내용이다. ('분류'란 대상을 이해하고 차이를 발견했을 때 가능하다. 정확한 분류는 고도의 과학적 활동의 결과다.) 어떤 식견은 새로운 기술의 영향에 관한 것이었다. 제아무리 좋은 망원경을 직접 들여다 보는 것보다 일반 크기의 사진 건판에 찍힌 영상에서 은하의 형상과 특징을 구분하기가 더 수월하다.

* 에드윈 허블 은 장노출 사진을 찍어 초신성을 발견하고 우주 크기를 쟀다. 후에 새플리-커티스의 우주 크기 대논쟁의 종지부를 찍었다. 이전의 관측 기록은 스케치에 의존 했는데 관측자의 주관이 개입되었다. 20세기 초까지 화성의 운하를 스케치한 천문학자도 있었다(퍼시발 로웰). 허블은 은하의 외형 분류, 스펙트럼 관측으로 우주 팽창설을 주장하였으며 현대 우주론에 결정적인 기여를 했다.

[01:13] 관측 자료를 기록(사진)하기 시작하면서 천문학은 새로운 시대를 맞았다. 분류는 사진을 통한 구분(정렬)과 은하의 제각각 특징을 확인하는 과정이다. 우리가 각 급의 전형이라고 부를 만한 분명한 예를 골라내고 서로를 구분하기 위해 다른 은하들과 비교한다. 허블은 수백개의 은하들을 분류하기 위해 이런식으로 접근했다. 그리고 그 과정에서 천문학에서 가장 유명한 분류방식 중 하나를 개발해 냈는데 허블 절차(Hubble Sequence) 또는 허블 소리굽쇠 도(Hubble tuning fork diagram)라고한다.

* 허블 은하 분류도표가 악기 음을 맞추는 소리굽쇠(tuning fork) 처럼 생겼을 뿐 음과는 아무런 관련 없다.



[01:48] 이 분류도표에서 허블은 은하의 형태 혹은 형상 같은 시각적 특성에 대해 서술하였다. 은하의 원형과 타원형 그리고 나선팔 모양에서부터 별과 성운의 불규칙한 모양새에 이르기까지 폭넓게 기술하였다. 허블의 분류표는 폭넓게 시용되어 왔고 폭넓게 재해석 되거나 오해되기도 했다. 하지만 밑에 깔린 형태학적 기술은 여전히 오늘날에도 은하를 구분하는 적절한 방법으로 유용하다.



[02:12] 은하의 외형적 분류, 그 이상의 의미가 있을까? 이런 형태적 분류는 은하의 중요한 물리적 특성과 관련있는 것으로 밝혀졌다. 예를들어 은하의 형성과 진화를 이해하는데 도움을 주는 별의 생성율이다.

[02:25] 이번 주 강좌에서 우리는 천문학의 최신 기법중 하나를 활용하여 전통적으로 이어온 분류법을 자동으로 수행하는 방법을 마련하므로서 은하 분류의 직관을 갖는데 도움을 주려고 한다. 은하 동물원(Galaxy zoo)의 자료를 가지고 수동으로 은하들을 분류해 본다. 은하 동물원은 믿을 수 없을 만큼 성공적인 시민 과학 기획이다.

* 은하 동물원(Galaxy zoo) 은 2007년 시작되어 현재도 진행 중이다. 슬로언 디지털 스카이 서베이에서 관측한 전천 사진 자료의 양이 너무 엄청나서 천문학자들 만으로는 은하를 분석하기 어려웠다. 이에 사진 자료에서 은하를 찾아내고 외형적으로 분류하는 일에 시민들을 참여토록 개방하였다. 관측 기록 기술이 발전 함에 따라 규모는 점점더 커지고 있다. 현재 약 90만여개의 은하를 분류해 냈다. ( http://zoo1.galaxyzoo.org/ )

[02:44] 결정 트리 알고리즘을 사용하여 시작해보고 이 결정 트리에 어떤 한계가 있는지 살펴본다. 그리고 만일 좀더 정교한 방법을 사용하여 우리의 분류 결과를 개선할 수 있는지 알아보자. 시도해볼 방법은 다수의 결정트리를 구성하고 그 결과를 평균하여 학습하는 랜덤 포레스트 분류리가는 조화 학습(앙상블 러닝)이다.

[02:58] 나는 이렇게 우리의 선배 과학자들과 우리를 연결해주는 연구 방식을 좋아한다. 우리는 슬로언 디지털 스카이 서베이의 자료를 가지고 은하의 분류를 위해 랜덤 포레스트를 활용 할 것이다. 100년전에 오직 사진 건판 밖에 없던 과학자의 전통을 이어 받는다.