> 뉴스 > 테크가이드 > 통신/네트워크
  • 트위터
  • 페이스북
  • 구플러스
  • 네이버밴드
  • 카카오스토리
     
“혁신하고 또 혁신하라”
데이터센터 베스트 프랙티스
2008년 07월 09일 00:00:00 데이터넷
“혁신하고 또 혁신하라”
‘효율적 쿨링 시스템·철통 보안·자동화’로 무장 … 그린 IT 도입 ‘붐’


첨단기술 사업자와 컨설턴트들이 엄청나게 효율적이고 엄청나게 안전하며 엄청나게
신뢰할 수 있는 데이터센터 시설에 대해 소중한 팁을 공개했다.

태초에 데이터센터가 있었고, 그런 다음 또 다른 데이터센터들이 등장했다. 첫 세대의 데이터센터들은 뜨거운 열기에 선들이 여기저기 얽혀 있고 가끔씩은 청소기까지 접대해야 했던 클로짓에서부터 수년 전만 해도 흔히 볼 수 있었던 유리로 만든 집에 이르기까지, 그 종류도 다양하다.
두 번째 세대이자 이번에 다루게 될 데이터센터는 차가운 공기로 언제나 서늘함을 유지하며, 태양열로 돌아가고, 인간의 개입이 없이 자동으로 서버를 프로비저닝하며, 공격자가 정문으로 트럭을 몰고 쳐들어온다고 해도 침투가 불가능한 곳이다.
이렇듯 에너지 효율적이고, 자동이고, 보안성이 탁월한 ‘멋진’ 데이터센터는 오늘날에는 혁신의 모델로 내세워지고 있지만, 미래에는 이들의 기술과 방법론이 기본 메뉴가 될 수도 있을 것이다.

환경과 에너지 강조
로드 아일랜드의 브라이언트 대학은 눈과 추운 날씨가 잦은 곳이다. 그리고 바깥의 이 모든 차가운 공기는 존 H. 차피 국제 비즈니스 센터 지하에 있는 이 대학의 새 서버룸을 시원하게 하는 액체를 냉각하기에 충분한 정도다. 브라이언트의 IT 부서에서는 이 단 한 가지 아이디어를 활용해 불과 일년 전에 비해 전력 소모량을 20~30%나 줄일 수 있었다. 지난 5년 동안 브라이언트의 IT 부국장을 역임해 온 아트 글로스터는 이를 두고 “우리는 암흑의 시대에서 광명의 시대로 접어 들었다”고 표현했다.
지난 해 4월 포괄적인 정밀공사를 완료하기 전까지 브라이언트 대학에는 네 개의 ‘데이터센터들’이 캠퍼스에 흩어져 있었으며, 여기에는 백업에 대해 거의 신경을 쓰지 않고 효율성이라고는 찾아볼 수 없는 상태에서 클로짓에 서버 랙들이 빼곡히 들어차 있었다. 지금 브라이언트의 통합되고 가상화되고 재구성된, 그리고 대대적으로 자동화된 블레이드 기반의 데이터센터는 IBM의 차세대 그린 데이터센터 이니셔티브가 최초로 이행된 곳들 중 하나다.
IBM은 콜로라도 주 보울더에 있는 자사의 그린 데이터센터에 7천900만달러를 투자함으로써 주창해 오던 바를 실행에 옮겼다. 이 회사는 자사의 모든 데이터센터용의 에너지에 월 1천만달러를 쓰고 대규모의 데이터베이스 확장을 통해 그 금액만큼의 환경적 영향(environmental footprint)도 유지하기를 희망하고 있다.
마이크로소프트와 구글 또한 대규모 데이터센터를 구축하면서 환경과 에너지 문제를 매우 강조하고 있는데, 그 중에는 5억달러 이상 들어간 것들도 있다. 마이크로소프트의 신임 CEO(최고 환경임원)인 롭 버나드에 따르면, 아일랜드에 있는 마이크로소프트 신축 데이터센터의 에너지 소모량이 유사한 구성의 작은 데이터센터에서 소모하는 양의 절반밖에 되지 않는다고 한다. 그는 “우리는 건물을 어떤 위치에 세워야 할지, 어떻게 해야 데이터센터에서 더 많은 효율성을 끌어낼 수 있을지 등 모든 것들을 면밀히 조사했다”고 말했다.
한편 구글은 세부 사항에 대해서는 굳게 입을 다물고 있지만 깨끗한 전력 소스 근방에 데이터센터를 세우기 위해 신중을 기하고 있다.
하지만 브라이언트 대학에 있어서 이것은 단순히 저렴하거나, 혹은 깨끗한 전력 이상의 값어치가 있다. 대부분의 전력 고장은 네트워크를 다운시키곤 했다. 브라이언트가 신축 데이터센터를 오픈하기 전 마지막 전력 고장에서는 공기조절장치가 나가고 서버 자체는 멀쩡했다. 브라이언트는 어쩔 수 없이 단지 기본적인 애플리케이션이라도 계속 돌리기 위해 휴대용 에어콘을 사용해야 했다.
전력이나 온도 문제를 나타내는 APC(American Power Conversion) 알람이 계속 울렸지만 대학에서는 여기에 대해 아무 것도 할 수가 없었다. 글로스터는 “공기조절 시스템이라고는 아무 것도 없었으며, 도관에서 나온 큼지막한 통풍관 하나가 전부였다”고 당시를 회상했다.
지금의 데이터센터에는 에틸렌 글리콜을 사용하고, 바깥 공기가 충분히 차가울 때는 이것을 이용해 냉각이 되는 폐쇄 회로 쿨링 시스템이 구비돼 있다.
추운 12월 낮에는 대형 APC 냉각기가 눈에 덮인 채 앉아서 에틸렌 글리콜을 냉각시킨다. 브라이언트의 기술 애널리스트인 리치 버톤은 보다 흔히 사용되는 냉각제 기반의 공기조절 장치에 비해 쿨링 비용이 30~40% 절감되는 것으로 추산했다.
하지만 이것이 차갑게 유지시키는 유일한 혁신은 아니다. IBM 부사장이자 데이터센터 전략 자문 수석인 스티븐 샘스는 필요로 할 때까지 본질적으로 ‘차게 보관’하기 위한 냉각제용 저장소로 거대한 입자가속기 챔버를 사용하는 방안을 고려하고 있다고 말했다.

차갑게 유지하라
구글은 따듯하고 건조한 기후에서 훨씬 저렴한 증기 쿨링(즉 스웸프 쿨러)을 매우 신뢰하고 있다고 말했다. 코로케이션 업체인 에퀴닉스(Equinix)의 데이터센터에서는 전기요금이 저렴한 밤중에 얼음을 만들고 낮 동안에 녹는 얼음을 이용해 냉기를 유지한다.
브라이언트 대학에서 했던 또 한 가지 범상치 않은 일은 올림마루 없이 사면에 건물을 지은 것이다. 이 대학은 그 이유를 공간 제한 때문이라고 말했지만, 포레스터리서치의 애널리스트 제임스 스테이튼에 따르면 일부 초대형 기술 회사들이 또 다른 이유에서 이러한 건물 설계를 유행으로 몰고 가고 있다고 하는데, 공기 냉각법이나 새로운 액체 냉각법을 사용하고 있을 경우가 여기에 해당된다. 하지만 IBM의 샘스는 올림마루를 제거하는 것이 장치에는 효율적이지 않다고 말해 논쟁의 여지를 남겼다.
통합(consolidation)은 브라이언트 대학이 데이터센터를 업그레이드하면서 가장 중요하게 목표로 한 것 가운데 하나였다. 처음 전략은 모든 것을 한 자리에 둠으로써 고장이 계속되는 동안 대학에서 백업 전략을 실현할 수 있게 한다는 것이었으며, 그린으로 간다는 생각은 거의 없었다. 하지만 대학 측에서는 IBM과 APC 엔지니어들과 함께 데이터센터 작업을 하면서 이 한 가지로 결정하기 전에 네 가지 디자인을 시험해 보았으며, 에너지 절감이 하나의 가치 제안(value proposition)으로 떠올랐다.
최종적으로 결정된 장소는 캠퍼스 뒤쪽 변전소 근처에 있는 적당한 면적의 땅으로, 다니는 사람이 많이 않아 데이터센터의 물리적 보안에도 이상적이었다. “전력 공급소가 멀어질수록 데이터센터의 효율성도 떨어진다”는 버톤의 말처럼 변전소와 가깝다는 점이 특히 크게 작용했다. 마이크로소프트와 에퀴닉스는 모두 데이터센터에 자체 변전소를 두고 있다.
라이브 어스(Live Earth)라는 온라인 콘서트 시리즈를 호스팅했던 인터넷 호스팅 중소업체인 아시오닷넷은(ASIO.net)은 2001년 태양열로 전환하면서 보다 깨끗한 전원을 공급받기로 했다. 120개의 태양열 집열판은 이 회사의 1-1/3 에이커짜리 땅에 나란히 배치돼 있다. 이 회사 CTO인 필 네일은 “비용이 계속 올라가고 있는 것을 보고 이것이 가야 할 길이라고 생각했다”고 회상했다.
네일에 따르면 약 10만달러를 들여 회사에 태양열 집열판을 마련하긴 했지만 아시오는 이 돈을 회수했으며, 에너지 사용을 훨씬 더 줄일 수 있는 방안을 계속 모색하면서 데이터센터에서 돌아가는 거의 모든 애플리케이션을 가상화하고 외부의 온도가 50도 아래로 떨어지는 곳이면 어디든 차가운 공기를 끌어오고 있다고 한다.

서버 클럭 속도 자동 관리
브라이언트 대학은 전력 소모량을 줄이기 위해 서버의 클럭 속도를 자동 관리하는 소프트웨어를 배치하고 있는 중인데, 이는 IBM이 APC와 공동으로 개발한 것이다. 현재는 APC의 기술이 팬 속도, 각 콘센트에서 사용되는 전력 레벨, 쿨링 용량, 온도 및 속도를 감시하고 제어한다. 전력은 필요로 할 때 서버 블레이드로 분배된다.
전력이 나간다고 해도 브라이언트에서는 이제 더 이상 데이터센터를 오프라인으로 하고 휴대용 에어콘을 들고 나설 필요가 없다. 데이터센터 근처에는 전력 자원을 언제 배터리로 교체해야 하는지를 아는 APC 인텔리전트 트랜스퍼 스위치(Intelligent Transfer Switch)를 호스팅하는 방이 있으며, 배터리로는 20분 동안 전체 시스템을 돌릴 수 있다. 전력의 상태가 좋지 못할 경우 데이터센터는 자동으로 발전기 전력으로 교체를 하고 버톤에게 연락한다. 발전기는 디젤 한 탱크로 이틀간 돌아갈 수 있다.
한편 코로케이션 사업자인 테레마크월드와이드(Terremark Worldwide) 같은 회사에서는 일부 장소에 배터리 백업을 제거하고 대신 플라이휠(flywheel)을 선택했다. 액티브파워 같은 회사에서 나오는 이 무거운 회전 바퀴는 발전기가 시동되기에 충분한 시간만큼만 장비에 전력을 공급할 수 있다.
이제 브라이언트 대학은 데이터센터의 신뢰성에 대해 계속 걱정하고 있을 필요가 없기 때문에 새로운 전략 이니셔티브에 집중할 수 있게 됐으며, 현재는 시스코, 노키아 및 T-모바일 등과 함께 학생들이 캠퍼스에서 무료로 전화 통화를 할 수 있게 해주는 듀얼 밴드 와이파이 및 셀룰러 서비스를 구축하고 있다. 이 대학은 또한 시스코 IPICS 통신 센터의 본거지로서 로드 아일랜드와 코네티컷의 응급 조치자들을 연결해 주며, 학생들에게 UC(Unified Communications)와 IPTV를 제공하는 것을 추진 중이다. 그리고 추가 수입원으로 브라이언트 데이터센터에서 애플리케이션을 호스팅하기 위해 어카운팅 소프트웨어 회사와 협의 중이다.
브라이언트 대학에서 컴퓨터 및 전기통신 서비스 책임을 맡고 있는 리치 시드지크는 “이 데이터센터가 만들어지기 전에는 한밤중에도 깨어 있어야 했지만 지금은 혁신을 위해 좀 더 많은 시간을 가질 수 있게 되었다”며 만족을 표했다. 이 대학은 포커스를 운영 중심에서 전략 중심으로 이동할 필요가 있었으며, “데이터센터가 그렇게 할 수 있게 해주었다”고 시드지크는 말했다. 이러한 모든 프로젝트들 덕분에 브라이언트는 이제 가장 뜨거운 관심을 받는 캠퍼스 중 하나가 됐다.
하지만 IT 부국장인 글로스터는 “이 정도로 만족하지 못한다”며, “브라이언트가 훨씬 더 에너지를 절약할 수 있다”고 말했다. 그리고 그러한 노력의 일환으로 최근에는 전력 비용을 50% 더 줄이기 위해 어떻게 해야 하는지를 IBM과 전화로 의논했다고 한다.

디지털 포트녹스
에퀴닉스의 버지니아 주 애시번 데이터센터는 찾아가기 힘든 곳에 있다. 하지만 이것은 나쁜 손길을 타지 않게 보호한다는, 다분히 의도적인 선택이었다. 이들이 위치한 산업 단지에서는 어떠한 로고도 찾아볼 수 없고, 방문객과 직원은 특별한 표시없이 생체인식 방식으로 신분을 확인하는 문을 통해 출입을 한다. 이것은 방문객이 서버로의 물리적 액세스를 확보하기 전에 먼저 통과해야야 하는 다섯 가지 생체인식 시스템 가운데 첫 번째 것이다. 각각은 슈래그 핸드키(Schlage HandKey)로, 94개의 독립적인 3D 장문인식(hand geometry) 방안이 이용되고 있다.
에퀴닉스의 모든 것은 보안을 염두에 두고 만들어진 듯하다. 예를 들어 바닥은 콘크리트 판으로 만들었는데, 이렇게 한 부분적인 이유는 눈으로 추적할 수 있고 손으로 건드릴 수 있는 곳에 선이 있을 가능성을 줄이기 위해서다. 벽이 검정색인 이유도 부분적으로는 배경을 더 어둡게 만듦으로써 고객의 익명성을 살리기 위해서다. 또한 에퀴닉스 데이터센터에 있는 보안 시스템에는 그들만의 키 입력식 전원공급기와 백업이 있다.
테레마크(Terremark)의 경우도 또한 보안이 그 가치 제안의 한 부분을 차지하고 있다. 테레마크는 최근 버지니아 주 컬페퍼에 있는 30 에이커의 새로운 캠퍼스에 몇 채의 5만 평방 비트 건물을 세웠는데, 여기서는 울타리 밖에서부터 기계 안에 이르는 모든 단계를 고려한 계층화된 물리적 보안 방안이 사용됐다.
가장 민감한 시스템에서는 경계를 따라 만든 진흙 갓길, 문, 울타리, 신원확인 카드, 수위, 생체인식기 등 7가지의 물리적 보안 단계를 통과해야만 기계를 만질 수 있다.
테레마크의 첨단 물리적 보안 방안들 가운데는 신분이 확인된 직원 데이터베이스에 장문을 대조해 보는 기계와, 전자 트립와이어(tripwire)로 작동하는 IP 카메라 시스템이 있다. 만약 비상 경계선에 누군가 침입하면 이것을 즉각 포착한 카메라가 보안 모니터 뱅크에 이것을 띄운다. 이 시스템은 안면을 인식할 수 있게 설계됐지만 테레마크는 아직 이 능력에 대해서는 밝히지 않았다.
테레마크에서 최고의 보안 방안이라고 말한 것 가운데는 원시적인 기술들도 있다. 테레마크의 설비 엔지니어링 선임 부사장인 벤 스튜어트는 “갓길 앞에 도랑만 만들어도 전혀 비용을 들이지 않고서 아주 큰 효과를 발휘할 수 있다”고 말했다. 도랑과 언덕을 지나면 K-4 강도의 문과 울타리가 나오는데, 이것은 35mph로 달려드는 트럭도 막을 만큼 튼튼한 것들이다.

보안에 신경써라
컬페퍼를 선택한 것도 전혀 우연이 아니었다. 이 회사의 다른 메인 데이터센터가 마이에미에 있긴 하지만, 연방 정부 고객은 보안성이 떨어지는 이 도시의 환경을 좋아하지 않았다. 이동을 결정한 데 있어 테레마크는 컬페퍼의 시골 환경만 고려한 게 아니라, 이곳이 워싱턴 D.C.의 핵폭발 지역밖에 있기 때문에 어떠한 핵 공격에도 소중한 데이터가 날라가지 않을 것이라는 점까지 고려했다.
은행은 자신들의 보안 전략에 있어 변덕스럽고 드러내지 않는 것으로 악명이 높다. 하지만 이들은 또한 물리적 보안을 극한까지 강화시킨 디지털 포트녹스(Fort Knox)기도 하다. 도이치 뱅크는 독일의 블랙 포레스트에 두 개의 지하 데이터센터를 만들었다. IBM의 샘스에 따르면 이것은 보기 드문 일이 아니라고 한다. “미국에서는 두 줄의 가시 철사로 울타리가 쳐진, 별다른 표시없는 외딴 삼림지대에 있는 경우가 많다”고 그는 덧붙였다.
보안 업체인 아크사이트(ArcSight)의 고객 인사이트(customer insight) 부사장, 글렌 샬런은 평범한 세일즈맨이 아니다. 그는 한때 미 해병대에서 네트워크 보안 사령관으로 근무하면서 보안 운영에 큰 역할을 한 바 있었다. 샬런은 군에 있었던 기밀 시스템에 대해 이야기할 수는 없지만, 그의 경험과 통찰력을 이용해 보다 진보된 배치와 정책을 실현하고 있다고 말했다.
지난 몇 년간 많이 강조돼 오긴 했지만 샬런은 여전히 내부의 위협이 제대로 이해되지 못하고 있다고 믿고 있다. 그는 한 모바일 소프트웨어 회사에서 거래 기밀을 훔친 품질 보증 엔지니어 이야기를 들려줬다. 이 회사는 여기에 대응해 각 직원용으로 개인화된 전자 워터마크를 만들고 누군가 이것으로 무엇이든 하기만 하면 소프트웨어 안에 워터마크가 찍히는 시스템과 소프트웨어에 액세스한 생체인식 시스템을 이행했다고 한다.
사용자의 로케이션도 또한 중요한 항목이다. 샬런은 “우즈베키스탄 내 어딘가에 있는 외부인이 단지 인증된 액세스를 갖고 있다는 이유로 내부인처럼 보일 수도 있다”고 경고했다. 최근에 샬런은 주 정부의 한 컴퓨터 보안 임원으로부터, 로그인하는 사람의 전체 로케이션을 판단할 수 있는 시스템에 액세스하는 IP 주소의 방화벽 로그를 확보해서 이들을 구글 어스와 결합시킴으로써, 시스템에 액세스하는 사람들이 있는 지리적 위치를 좌표에서 파악할 수 있다는 얘기를 들었다고 한다. “이런 것들은 하기에 그리 어렵지 않으면서 큰 통찰력을 가져다 줄 수 있다”고 그는 말했다.

자동으로 만들어라
데이터센터 자동화라는 개념이 나온 지는 수년째가 됐지만, 지금도 여전히 인간의 개입이 없이 돌아가는 데이터센터같은 것은 존재하지 않는다. 하지만 그렇다고 해서 회사들이 시도도 하지 않고 있다는 것은 아니다.
단 혁신적인 업체들의 레퍼런스 고객이라 하더라도 이제 막 자동화를 시작한 정도다. 썬트러스트뱅크(SunTrust Banks)는 6개월 전 자동 서버 프로비저닝용으로 블레이드로직(BladeLogic)을 사용하기 시작했으며, 이제 자동 컴플라이언스와 관리에도 이것을 시도하고 있다. 인프라는 다 배치가 됐지만 자동화는 아직 비교적 초기 단계다. 썬트러스트가 블레이드로직을 사용하기로 한 이유는 주로 비용 절감과 효율적인 시간 사용 때문이다.
블레이드로직이 있다 하더라도, 일단 시스템이 가동이 되면 설치된 구성이 완전한 상태를 유지하는지 확인할 수 있는 방법은 정기적인 인간의 모니터링밖에 없다. 썬트러스트의 다음 단계는 웹스피어나 웹로직같이 특정 구성이 필요한 제품을 확보해서 이런 애플리케이션용으로 템플릿을 만들고, 이런 구성을 자동으로 프로비저닝하고 유지보수하는 것이다. 이 때 애플리케이션이 설치된 곳은 가상 기계든 물리적 기계든, 윈도우든 리눅스든 관계가 없어야 한다.
이러한 모든 자동화 작업은 사람들에게 보다 전략적 프로젝트에 몰두할 수 있는 자유를 준다고 올리버는 말했다. 그는 또 마음같아서는 더 많이 자동화를 하고 싶지만 그렇게 하기 위해서는 썬트러스트의 관리 툴박스에 있는 다양한 툴들을 통합할 수 있는 기술과 방법론이 먼저 만들어져야 한다고 설명했다. “구성 관리 데이터베이스도 있고, 패칭을 하는 툴도 있고, 모니터링을 하는 툴도 있다고 해도, 이런 오키스트레이션 조각은 좀더 개발이 될 필요가 있을 것이다.”

혁신으로 경쟁 우위 유지
서버와 애플리케이션 프로비저닝만이 오늘날 진행되고 있는 자동화의 전부는 아니며, 런타임(runtime) 자동화 또한 강력하게 추진되고 있다. 한 국영 보험회사는 오팔리스 인티그레이션 서버(Opalis Integration Server)를 이용해 가능한 한 많은 프로세스를 자동화하고 있다. 이 회사는 월말 프로세스를 자동화하기 시작했으며, 그런 다음 문제의 초기 탐지 및 복구와 감사 로그 수집 및 중앙 저장 단계로 이동했다. 이로써 월말 프로세싱은 30명이 2주가 걸리던 일에서 다섯 명이 사흘이면 끝낼 수 있는 일로 바뀌었다.
이 회사의 IT 책임인 래리 듀새닉은 “우리 데이터센터들은 아주 어둡다”고 말했다. 심지어 네바다 주 남부에 있는 이 회사의 메인 데이터센터에는 상근직 엔지니어도 없다. 런북(run-book) 자동화는 SQL 서버, 마이SQL 및 오라클에서 나오는 모든 것을 IIS(Internet Information Server)와 아파치로 ‘함께 붙이기 위한 툴’이라고 그는 말했다.

듀새닉의 회사는 런북 자동화를 이용해 자사 시스템을 통합하고 프로세스를 자동화하고 있긴 하지만, 모든 일이 가능하도록 스크립트를 만드는 일에는 여전히 노련한 엔지니어의 손길이 필요하다. “무언가를 제대로 조사하려면 먼저 시간을 들일 필요가 있다”고 그는 말했다. 일반적인 프로세스에는 30가지의 상호의존적인 작업이 포함되며 적절한 자동화 스크립트를 만드는 데는 수 주일이 걸릴 수 있다.
한편 보다 흥미로운 상황도 있었는데, 듀새닉은 시트릭스 시스템즈가 대용량 파일을 출력할 때 경험한 문제의 픽스를 수행할 수 있었다. 이 보험 회사는 손실 계산의 과정에서 수천 페이지를 정기적으로 출력하며, 이들을 처리하는 애플리케이션은 시트릭스를 통해 배포된다. 하지만 시트릭스에서 돌아가는 대규모 출력 작업은 출력 서버, 프린터 그리고 애플리케이션 자체를 죽여버릴 수 있다.
지금은 20페이지 이상의 출력 작업이 시트릭스에서 수행될 때마다 누가 작업을 요청했는지, 어디서 출력이 되고 있는지, 그리고 무엇이 출력되고 있는지를 알려주는 텍스트 파일이 만들어진다. 텍스트 파일은 오팔리스가 감시하는 파일 셰어(file share) 안에 놓인다. 그러면 오팔리스는 데이터베이스에 정보를 입력하고 프린터들간에 작업 부하를 조정한다. 일단 작업이 완료되면 출력 오퍼레이터와 작업을 요청한 사용자에게 통보가 간다.
이 회사에서는 출력 서버의 CPU 이용량이 특정 스레숄드에 도달하면 작업이 자동으로 다른 서버로 옮겨지도록 쉽게 만들 수 있었다. 듀새닉은 “이것을 하는 데 맞춤 솔루션을 썼다면 종단간에 아마도 10만달러가 들었을 것”이라고 말했다.
어떠한 데이터센터든 완벽하지는 않으며, 아무리 혁신적인 것이라 하더라도 결점은 있다. 이미 고도로 효율적이거나, 철통 보안이거나, 혹은 자동화된 데이터센터로 가는 길에 들어선 회사들에게는 앞으로 해야 할 수많은 일들이 놓여 있다. 진정한 혁신가는 앞서 가기 위한, 그리고 경쟁적 우위를 유지하기 위한 선의의 싸움은 결코 포기하지 않는 법이다.
ⓒ 데이터넷(http://www.datanet.co.kr) 무단전재 및 재배포금지 | 저작권문의  

     

인기기사

 
가장 많이 본 기사
인사·동정·부음
전체기사의견(0)  
 
   * 200자까지 쓰실 수 있습니다. (현재 0 byte/최대 400byte)
   * 욕설등 인신공격성 글은 삭제 합니다. [운영원칙]
전체기사의견(0)
사명: (주)화산미디어 | 주소: 서울시 강남구 강남대로 124길 26 유성빌딩 2층 | 전화: 070-8282-6180 | 팩스: 02-3446-6170
등록번호: 서울아03408 | 등록년월일: 2014년 11월 4일 | 발행년월일: 2003년 12월 17일 | 사업자등록번호: 211-88-24920
발행인/편집인: 정용달 | 통신판매업신고: 서울강남-01549호 | 개인정보관리 및 청소년보호 책임자: 박하석 | 호스팅 사업자: (주)아이네임즈
Copyright 2010 데이터넷. All rights reserved. mail to webmaster@datanet.co.kr