PGR21.com
- PGR21 관련된 질문 및 건의는 [건의 게시판]을 이용바랍니다.
- (2013년 3월 이전) 오래된 질문글은 [이전 질문 게시판]에 있습니다.
통합 규정을 준수해 주십시오. (2015.12.25.)
Date 2018/04/02 23:49:50
Name 킴베르슨
Subject [질문] [컴퓨터, IT] 빅데이터 분석 질문입니다...
안녕하세요
첫 질문글 올립니다.
두 가지 사항으로 업무가 막히고 있습니다...;;

1. SAP 테이블에서 데이터 추출하는데 (3일치 정도) 로딩이 너무 오래 걸리면서 에러가 뜹니다. 최소 1개월 또는 1년치 자료가 복수의 테이블에서 필요한데 SAP GUI외 DB에 붙어서 추출하는 방법이 없을까요?

2. 위 질문에서 어찌어찌 데이터를 뽑아낸 후를 가정해보면 건수가 몇십, 몇백억 건이기 때문에 SQL로는 도저히 분석이 불가능할 것 같습니다. 조금 조사를 해보니 1.5억 건이 MS SQL이나 MySQL로 분석할수 있는 제한인 것 같습니다. Hadoop 이나 Spark 등의 빅데이터 분석 툴들을 찾아봤는데 관련 설치 및 사용에 관한 실용적인 서적이나 사이트가 있을까요? 설치하고자 하는 PC는 윈도우 10입니다. 회사 사정과 윗분들 설득의 어려움으로 윈도우/리눅스 서버 구매는 매우 어려울 것 같습니다. AWS나 MS Azure 등의 유료 옵션도 고려중인데 회사에서 이런 빅데이터와 관련하여 이해를 해주시는 윗분이 현재는 없습니다.
(하고자 하는 업무는 SQL query 와 같이 간단한 table join 및 필터링 + roll-up (월별 합계/카운트) 등 입니다)

또 distributed computing 환경을 제가 프로그래머가 아닌데 설치 및 사용이 가능할지 궁금하네요...

아무쪼록 답변에 미리 감사 드립니다!

통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
Je ne sais quoi
18/04/03 00:04
수정 아이콘
저는 windows에서 개발을 안 해서 모르겠지만 hadoop이나 spark이나 windows 설치가 가능한 거 같긴 합니다. 그런데 얘들은 gui tool이 아니라서 프로그래밍을 못하시면 어차피 사용을 하실 수가 없습니다.
그리고 정말 문제는 추출할 데이터 쪽일 수도 있다는 생각이 드는데, 월별 합계/카운트야 데이터를 분할해서 추출하면, 건수가 줄어들테니 일이 좀 쉬워지겠지만, join은 이야기가 다릅니다. join을 할 데이터의 범위와 조건에 따라서는 매우 간단하다고 생각했던 부분이 사실은 굉장히 복잡해질 수 있으니까요.
아무튼 쓰신 걸로만 봐서는 참 답답한 상황인데, 잘 해결하시길 바랍니다.
18/04/03 07:50
수정 아이콘
Sap은 말씀하신 방법처럼 직접 디비에 붙으면 난리납니다.
심하면 디비 뻗는 경우도 생깁니다.
다만 버전은 모르겠지만 S4 버전인 경우 하나 스튜디오를 쓰면 되긴합니다.그 아래 버전인 경우 노답이라고 말씀 드리고 싶네요.
18/04/03 07:50
수정 아이콘
R3 인 경우 인덱스 같은걸 다 잘 걸어줘야 되니까
설계가 잘못된 경우도 있겠네요. 이 경우도 노답
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회
118139 [질문] 결혼해야하나요 [17] 삭제됨4491 18/04/03 4491
118138 [질문] [차 구매] 훼미리카 선택 질문 [15] 킴베르슨2964 18/04/03 2964
118137 [질문] 유튜브가 접속이 안됩니다. [10] todTmfprl1990 18/04/02 1990
118136 [질문] [컴퓨터, IT] 빅데이터 분석 질문입니다... [3] 킴베르슨1917 18/04/02 1917
118135 [질문] 교수와 학생 사이의 김영란법 질문입니다. [3] sungsik2342 18/04/02 2342
118134 [질문] 살 곳을 옮겨야 하는데 노량진 vs 신림동 고시촌 질문입니다. [7] 조이4052 18/04/02 4052
118132 [질문] 새 조립컴이 멎는 현상.. 도움 부탁합니다 [5] 빛당태3148 18/04/02 3148
118131 [질문] 서울 코스트코에 대한 질문입니다. [9] 안초비3888 18/04/02 3888
118130 [질문] 맘스터치 햄버거 저탄고지 용으로 쓸만한가요? [17] 가가겨거10369 18/04/02 10369
118129 [질문] 주말에 레디 플레이어 원 보려고 하는데요 [5] 농심카레라면1780 18/04/02 1780
118128 [질문] 식물의 암수구분은 생물학적 구분인가요? [6] 펩시콜라4328 18/04/02 4328
118127 [질문] 영어 공부 질문드립니다. [26] 피지알맨3801 18/04/02 3801
118126 [질문] 에어컨 선택 좀 도와주세요 [10] 삭제됨2838 18/04/02 2838
118125 [질문] 윈도우 10 무료업그레이드 아직도 가능한가요? [4] Brasileiro3815 18/04/02 3815
118124 [질문] 컴퓨터 자체볼륨과 스피커볼륨 궁금합니다 다크템플러2297 18/04/02 2297
118123 [질문] 맥북이 화면보호기 상태거나 덮개를 닫으면 연결이 끊어지는데 해결책 부탁드립니다. [1] johann2396 18/04/02 2396
118122 [질문] 이소프로필 알코올 구입처 문의 [4] 은하관제3168 18/04/02 3168
118121 [질문] 윈도우 10 파일 클릭시 맨 아래로 자동 이동 현상 [2] 노대누대2051 18/04/02 2051
118120 [질문] 사주나 점집 추천부탁드립니다. Syncnavy1893 18/04/02 1893
118119 [질문] 오버워치 리그 경기중에 어떤경기인지 생각이 안나서요 [2] 순이안녕1612 18/04/02 1612
118118 [질문] 민방위할때 빨리온순으로 실습하고 나가지 않나요? [16] Mindow2617 18/04/02 2617
118117 [질문] 편의점 도시락+샐러드 영양적으로 괜찮을까요? [9] 미메시스3637 18/04/02 3637
118116 [질문] 스태미너나 체력 관련된 영양제는 없나요? [11] wook983066 18/04/02 3066
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로