우우양우우우우 ...

 

내 인생 처음의 시험이었고, 그 시험 결과였다.

과목은 기억나지 않으나 결과가 말해주듯 나는 매우 평범한 아이였다. (국/영/수/과학/사회/도덕 뭐 이런게 아니었을까 싶다)

 

학교에서 받은 수업을 집에서 복습따위도 하지 않았고

그러나 그 결과가 그리 나쁘지도 좋지도 않았다. 

그냥 평범 그 자체였을까?

 

 

그러던 내가 대학을 갔고, 그리고 대학원을 갔고, 그리고 회사에 다니고 있고 몇개의 프로젝트를 리딩?하고 있다.

 

 

나쁘지 않은 동료들과

나쁘지 않은 회사에서

나쁘지 않은 성과를 받고 있지만, 마음 한켠에서 계속 불안함이나 충족되지 않는 그 느낌이 무엇인지 모르겠다.

 

 

약 8년전의 학생들의 사고가 치유되기 까지 몇개월이 걸렷고, 잊혀질 즈음 비슷한듯 비슷하지 않은 사고가 발생했고

그 장소가 정말 집에서 걸어서 갈 수 있는 거리 였기 때문이었을까..

무엇때문인진 모르겠지만 찾아봐야겠다.

 

 

나쁘지 않게 살아왔던 내가, 어떤곳에서의 충만감을 느끼고 싶은데

어쩌면, 내가 진정으로 좋아하는 것 으로부터의 인정일지도 모르겠다.

 

 

오랜만에 시간적인 여유가 생겼다. 

앞으로도 하루에 몇시간은 낼 수 있을 것 같다.

 

 

또 남겨본다.

 

 

오늘의 지도이야기 : 나쁘지 않게 살았으나, 행복하진 않음.

반응형

'오늘의 지도 (Map's Today)' 카테고리의 다른 글

3년만인가...  (2) 2022.09.03

 

 

 

유튜브도해보려고 했고, 영어로 블로그를 써보려고 했다.

영어로 쓴 블로그는 분석이나 기술보다도 지도 철학 (a.k.a., Cartography) 에 대해서, 그리고 지도 데이터에 대해서 이야기를 해보고 싶었다.

 

나처럼 게으른 사람이 있을까..

몇 달 열심히 했다. 몇 달 열심히 했는데 귀찮아 졌다.

그리고 영어를 못하는것을 알게되었고 (우리말도 못함) 개인의 일과 회사의 일이 겹쳐져 거의 모든 온라인 사회 관계와 단절되어있었다.

 

그러다가 다시 현타가 왔는지, 혹은 살아야 겠다?는 생각 때문인지, 아니면 나태한 나를 보고 한심했는지 다시 마음을 다져본다.

 

블로그도 스킨도 편집하고, 카테고리도 다 정리했다.

 

우연의 일치일까.. 새로 시작되는

진짜 오랜만에 쓰는 글이다. 정확히는 3년만이다.

정말 아무 의미없이 블로그를 다시 시작해야겠다고 생각는데 2019년 9월 3일이 마지막글이었다.

 

 

 

기술 블로그에서 이제 내 이야기를 써보고 싶다.

반응형

'오늘의 지도 (Map's Today)' 카테고리의 다른 글

나쁘지 않음.  (0) 2022.11.09

그간, 지도를 만들기 위해서 이런 저런 기술을 습득해왔습니다.

어쩌다 보니, 박사과정까지 가게 되었고 박사는 수료한채 (하지만, 논문 검색을 하면 그래도 두자리수 이상의 논문이 나오기에, 학계에 충분한 발자취를 남겼다고 생각합니다..) 회사로 오게 되었습니다.

회사는 대단한곳입니다. 학교와 달리 엄청난 데이터와 인프라가 있습니다. 그리고 실력좋은 동료들도..

기술적으로 성장하였습니다. 기술적으로 뭔가를 남기고 싶었습니다. 그렇지만 회사에 가서 많이 부족함을 느꼇습니다. 거드름을 피우기엔 아직 실력이 부족합니다. 

한편, 제가 다룰 수 있는 데이터와 도구가 이전보다 더 제한적으로 되었습니다.

 

제가 무엇을 더 기여할 수 있을까 고민하였습니다.

지도를 만들기위해서 기술을 배웠고, 지도를 만들면서 어떻게 더 나은 지도를 만들지 꾸준히 생각했습니다.

기술은 북미, 유럽 형님들이 잘 해주시는것 같습니다.

그렇다면 제가 해야 할 것은 지도를 만들때 나의 의도를 잘 담아야하는 것 같습니다. 혹은 나의 의도를 지도를 통해서 잘 전달해야하는 것 같습니다.

그러니까...기술보다 방향을 제안해보려고 합니다.

가령, 얘네들은 A로 표현하고, B로 표현했네? 왜 그랬지? 무슨 의도일까? 그러니까 나는 어떻게 해야하지? 같은 쓸데없는 글입니다. 

 

Cartographer. 이것은 제가 원하는 타이틀입니다.

새로운 둥지는 이곳입니다. 오랜기간 한국생활로 영어 글쓰기가 서툴러졌지만, 계속 proofreading하고 있습니다.

 https://pil0706.github.io/

반응형

N개의 포인트가 포함된 테이블이 있고, 각 포인트별 가장 가까운 포인트를 매칭시키고 싶었음

스택오버플로우에는 고정된 1개의 포인트에서 다른 포인트 셋의 거리를 구하는 것이 주된 정보여서 한동안 헤맸는데,

왜 Arc나 Q에서는 흔하게 있는 최근린분석을 왜 기본 함수로 안갖고 있는 것이 의문이긴 함


TRIAL #1

처음으로 작성한 코드는 아무 생각없이 작성했더니 distance matrix를 만드는 코드를 만들게 되어버림


SELECT ST_Distance(a.[shape], b.[shape]))

  FROM [table] a, [table] b

  ORDER BY st_distance


아무 생각없이 짠 코드는 N^2의 시간을 요구하고 LIMIT을 걸어서 보면 절대론 해선 안되겠다는 생각을 하게 됨



TRIAL #2

굳이 distance matrix를 만들 필요가 없으므로 한가지 꼼수를 생각해봤는데,

해당 포인트들을 하나의 멀티 포인트로 변환한다음에 매번 거리 계산을 할 때 자기 자신을 빼고 거리를 재는 방식

결과는 성공적으로 나오긴 하는데 어떤 포인트와 정확히 매칭이 되는지는 모르고 거리만 return함

또한 인덱싱이 되지 않고, 2N의 시간이 걸려 포인트가 많아질수록 연산량이 대폭 증가


WITH point_set 

  AS(SELECT ST_Multi(ST_Union([shape])) 

      FROM [table]

SELECT a.[id], ST_Distance(a.[shape], ST_Difference(b.st_multi, a.[shape]))

  FROM [table] a, point_set b

  ORDER BY st_distance

  

TRIAL #3

KNN을 이용한 거리를 재면 인덱싱이 된다고 해서 이 방법으로 시도

<-> 을 LIMIT 1을 걸어서 최근값 1개만 받아내고, 자기자신을 제외하기 위해 id가 서로 다른 <> 값들을 받아냄

인덱싱이 되어있기 때문에 LIMIT 1로 상당히 빠르게 값을 return 하고,

그 결과를 CROSS JOIN 해서 각 포인트들이 서로 매칭되는 것을 알 수 있음 


SELECT a.mid, a.name_dp, closest_pt.mid, closest_pt.dist

  FROM [table] a

  CROSS JOIN LATERAL

    (SELECT mid, name_dp,

      a.[shape] <-> b.[shape] as dist

      FROM [table] b

      WHERE a.[id] <> b.[id]

      ORDER BY a.[shape] <-> b.[shape]

     LIMIT 1) AS closest_pt

  ORDER BY closest_pt.dist


APPLICATION 

위의 방식을 이용해서 내가 원하는 데이터에 적용해봄

내가 다룰 데이터는 만개 단위의 포인트이므로, 분석을 하고자 하는 지역을 적당한 크기로 자르고 싶었음

따라서 해당하는 좌표값을 찾은 뒤에 적당한 반경을 설정하고 그 영역에 속하는 포인트들 중 

특정 칼럼에 원하는 값을 지닌 포인트들만 골라서 다시 테이블로 만들어 분석함


WITH sampling_table

  AS(SELECT

      FROM [table]

      WHERE [column] IN ([target value])

      AND ST_DWithin(

        [shape]

        ST_SetSRID(ST_MakePoint([X][Y]), [EPSG]), [radius]))

SELECT a.[id], closest_pt.[id], closest_pt.dist

  FROM sampling_table a

  CROSS JOIN LATERAL

    (SELECT [id],

      a.[shape] <-> b.[shape] as dist

      FROM sampling_table b

      WHERE a.[id] <> b.[id]

      ORDER BY a.[shape] <-> b.[shape]

     LIMIT 1) AS closest_pt

  ORDER BY closest_pt.dist



기존에 10분이 넘게 걸리던 작업이 1분 내로 값이 나옴

기쁨

반응형

엄청 어렵다.

회사일도 바쁘고 집안일도 많이 있고

날은 너무 덥고


기존의 분석을 해서 이를 컨텐츠 생산하는게 매우 어렵다. 시간도 매우 많이 들기도 하고

약간 스크랩 형식으로 바꾸면 어떨까 생각도 든다.

반응형

QGIS 3.0 은 새로 나왔고,

새로 나왔기에 지원되지 않는 플러그인이 많다.


망고소프트의 이민파 소장님께서 만든 TMS for Korea도 당연히 지원이 안되고

심지어는 openlayers plugin도 지원이 안된다.


하지만 편법은 다 있는법.


QGIS 3.0.2를 켜도 좋고, 2.18.19을 켜도 좋고 뭐를 켜도 좋다.

나는 3.0.2을 켰지만, 사실 2.18.19을 사용하는게 안정적인듯.


일단 난 시스템 로케일을 영어로 설정해놔서 영어로 뜸


뭐 잡소리 끄고 하는방법


Browser Panel에서 XYZ Tiles를 들어간다.



그리고 마우스 오른쪽 버튼 누르고 New Connection을 하면 다음과 같은 창이 뜸




Tile Map URL을 넣으면 되지롱!


Tile Map Url은 일단 나는 기본적으로 구글 기본지도랑 OSM 지도를 넣었다.

OSM 지도 URL은 다음과 같음

http://a.tile.openstreetmap.org/{z}/{x}/{y}.png

참고로 나는 Max Zoom Level은 19로 했는데 20으로해도 된다.


Google 지도 URL은 다음과 같음

http://mt0.google.com/vt/lyrs=m&hl=en&x={x}&y={y}&z={z}&s=Ga


자세히 보면 이부분이 조정 가능한 파라미터인데

lyrs=m&hl=en

lyrs = m (레이어 = m)

hl = en (언어는 = en)

이라는 의미다

한국어는 kr, 일본어는 ja 이런식이다.

lyrs 의 값은 다음과 같음


  • h = roads only
  • m = standard roadmap
  • p = terrain
  • r = somehow altered roadmap
  • s = satellite only
  • t = terrain only
  • y = hybrid



기존의 OpenLayers Plugin이 시스템 로케일에 따라 언어설정이 불가능했다면

이거는 오히려 언어설정시 유용하다.


그리고 구글지도 Max Zoom Level 은 20까지 지원됨

이미 나는 OSM 지도를 깔았기 때문에 이번에 추가로 Google Road를 넣었다.



오랜만에 유용한 글이 되었길 바라는데


일단 빨래 걷으러 가야함


읽어줘서 감사요




참고로 네이버랑 다음 지도도 URL 올려줄께요

반응형

생각정리.


역시나 밤은 생각이 많아진다.

이래서 사람은 밤에 자나보다.


5년간 기거했던 관악구, 낙성대동을 떠나려니 기분이 묘해서

연구실 사람들을 만났다.

미싱은 여전히 잘도 돌고있었다.

QGIS 를 부쩍 많이 다루고 있고 회사내 개발자분들에게도 '전도'를 하고 있어서 신기하기도 하다.


너무 업데이트가 안되서 죽었다고 생각하는데, 역시나 컨텐츠를 올리는거는 쉽지 않다.

동영상 컨텐츠가 부쩍 증가하고 있는데, 동영상이 쉬울지는 모르나 편집또한 큰 노고가 든다.


역시나 글로 회포를 푸는게 아재가 되어가는 나에게는 맞는듯.


이글을 20년후에 지금 꼬꼬마들이 읽으면, 아 아재감성이라고 할 것 같다.

건조기에서 빨래 가져와야겠다.

생각정리 끝.


PS : 시간날때 업데이트 합니다.

컴터 포맷 3일전에 했어요 그리고 다시 Postgresql이랑 Postgis설치중이에요.

QGIS 3.0도 설치중입니다.

반응형

불필요한 vertex 제거하기


v.build.polylines GRASS 사용



혹은 Dissolve를 하게 되는경우 Pseudo-node 제거가 가능해짐

반응형

좌표가 있는 CSV를 importing 후 postgresql에서 ST_MakePoint를 이용하여 Point 를 만들기


1. 테이블에 geometry 컬럼 추가 및 좌표 설정

alter table part_test

add column shape type geometry(point, 4326);

이거다...

add column shape geometry(point, 4326);



2. geometry 컬럼에 Lat, Lon 넣어 계산

update part_test

Set shape = ST_SetSRID(ST_MakePoint(lat, lon), 4326);



근데 왜 안되냐.. 

반응형

'지도쟁이들 분석노트 > :P 지도를 만드는' 카테고리의 다른 글

글쓰기  (0) 2018.07.17
Pseudo-node 제거하기  (1) 2018.04.05

당분간 진행을 바꾸려고 합니다

당초엔 나중에 책으로 만들고 싶은 마음에 모델빌더라는 주제로 디테일하게 내용을 점차 채워나가려고했으나...

생각보다 제 시간이 빠듯하게 흘러가고, 글쓰는데 예상 이상의 에너지가 소모되고, 현재 프로세싱모델 보다 다른 공부에 가중치를 두고싶어요.

그래서 글이 '이런저런 문제를 해결하고 싶으면 이렇게하면 되요!' 에서 '난 이 문제를 이렇게 해결했어요!'로 바뀔 것 같네요.




0. 

아파트를 평가하는 내용의 작은 부동산 관련 프로젝트에 참여하면서 작업한 내용입니다.

제가 해결해야되는 문제는 '아파트에서 통학하게 되는 초등학교들까지의 거리를 구하는 것' 입니다. 아파트와 초등학교를 매칭하는 작업 및 거리를 구하는 작업을 수행해야합니다.


초등학교는 무조건 가까운 곳에 가는 것이 아니고 학군개념이 존재합니다. 그 학군에 존재하는 거주자들은 지정된 초등학교에 통학하게 됩니다. 학군자료를 구해왔습니다. 아래 그림의 예시를 보면 저 범위에 포함된 거주자들은 서울세검정초등학교에 다니게 됩니다.


그리고 필요한 아파트 정보와 서울시의 초등학교 위치정보를 구해옵니다. 각 아래와 같이 분포하고 있고, 초등학교의 경우 데이터가 멀쩡하다면 한 학군에 한 개씩 배정되어 있겠지요.(실제로는 공동학군이 존재해서 조금 더 머리아픕니다.) 


'초등학교 통학 구역'의 폴리곤 데이터와 '아파트', '초등학교'의 포이터 데이터를 통해 각 아파트에 매칭되는 초등학교를 구하고, 그 거리를 계산하는 것이 목적입니다.




1. 

초등학교 통학 구역, 즉 학군을 key로 사용해서 아파트와 초등학교의 정보를 엮었습니다.

i. 각 초등학교에 매칭되는 학군 ID를 부여합니다.

ii. 각 학군을 iteration 하며, 학군 내에 존재하는 아파트와 ID와 매칭되는 초등학교를 매칭시킨 뒤, 거리를 구했습니다. 


 i - 초등학교에 학군id 부여

각 학군 id 마다 iteration을 하며, 'Select Layer by Location'을 통해 학군 위에 존재하는 학교를 선택하고 그 id를 부여합니다. 

학군 id를 부여하기 위한 expression은 "%Value%" 을 사용하면 됩니다.


* 혹여나 의문이 있으실까봐. 학군을 굳이 초등학교 이름을 매칭하는 속성기반의 방법이 아닌 location 기반으로 넣어준 것은.. 학군과 초등학교 데이터의 갱신일이 달라 생기는 결함을 줄이기 위함이었고, 내용에 다루진 않지만 이렇게 하는 것이 공동학군을 처리하기 편했습니다.




 ii - 아파트와 학교간 매칭 및 거리 계산

학군 id 마다 iteration을 하며, 학군 위에 존재하는 아파트들과 id와 매칭되는 초등학교를 선택한 뒤, point distance를 통해 매칭과 거리계산을 한꺼번에 수행했습니다.

학군 파일을 iteration row selection을 통해 학군id 마다 iteration하고, 이를 이용해 아파트 포인트에 select by location을 수행하여 학군 위에 존재하는 아파트들을 선택합니다. 동시에 초등학교는 속성정보인 학군id를 통해 매칭합니다. 속성정보 매칭을 위한 expression은 "학구도" LIKE '%Value%' 입니다.

* arc 내에서 ""과 '' 사용이 헷깔립니다. 저는 파이썬 관련 문법이면 "", 쿼리 관련은 '' 은 사용한다는 방식으로 기억하고있습니다.


2. 

쨘! 아파트마다 초등학교와의 매칭 및 초등학교까지의 거리를 계산했습니다. 결과는 각 학군id가 이름인 테이블들로 추출됩니다. 이를 하나의 파일로 append 한 뒤, FID를 통해서만 매칭된 형태(Point Distance의 추출결과)에 필요한 정보를 각 아파트 및 초등학교와 join해서 가져오면 됩니다.

직접 구현해서 활용하고 싶으시면 주황색육각형으로 표시되는 Iteration과 노란색 네모로 표시되는 Tool들을 위주로 살펴보시면 전체 흐름 따라가실수 있습니다.



Iteration은 정말 편리하고 강력한 도구입니다. 모델빌더의 다른 기능들은 노다가를 하기 귀찮아서 사용할 때가 많지만, iteration이 필요한 부분은 모델빌더가 아니면 안되거든요. 물론 arcpy를 통해 같은 기능을 사용할 수도 있지만, 직관적이고 간편하게 flow를 짤수 있는 것은 모델빌더의 큰 장점입니다. 경험상 iteration을 편하게 다루기 위해서는 iteration마다 활용되는 Value의 값을 잘 활용해야 되더군요. 고로 각 부분의 expression을 유의해서 살펴보시면 좋을 것 같습니다.

반응형

+ Recent posts