PGR21.com
- PGR21 관련된 질문 및 건의는 [건의 게시판]을 이용바랍니다.
- (2013년 3월 이전) 오래된 질문글은 [이전 질문 게시판]에 있습니다.
통합 규정을 준수해 주십시오. (2015.12.25.)
Date 2018/04/02 23:49:50
Name 킴베르슨
Subject [질문] [컴퓨터, IT] 빅데이터 분석 질문입니다...
안녕하세요
첫 질문글 올립니다.
두 가지 사항으로 업무가 막히고 있습니다...;;

1. SAP 테이블에서 데이터 추출하는데 (3일치 정도) 로딩이 너무 오래 걸리면서 에러가 뜹니다. 최소 1개월 또는 1년치 자료가 복수의 테이블에서 필요한데 SAP GUI외 DB에 붙어서 추출하는 방법이 없을까요?

2. 위 질문에서 어찌어찌 데이터를 뽑아낸 후를 가정해보면 건수가 몇십, 몇백억 건이기 때문에 SQL로는 도저히 분석이 불가능할 것 같습니다. 조금 조사를 해보니 1.5억 건이 MS SQL이나 MySQL로 분석할수 있는 제한인 것 같습니다. Hadoop 이나 Spark 등의 빅데이터 분석 툴들을 찾아봤는데 관련 설치 및 사용에 관한 실용적인 서적이나 사이트가 있을까요? 설치하고자 하는 PC는 윈도우 10입니다. 회사 사정과 윗분들 설득의 어려움으로 윈도우/리눅스 서버 구매는 매우 어려울 것 같습니다. AWS나 MS Azure 등의 유료 옵션도 고려중인데 회사에서 이런 빅데이터와 관련하여 이해를 해주시는 윗분이 현재는 없습니다.
(하고자 하는 업무는 SQL query 와 같이 간단한 table join 및 필터링 + roll-up (월별 합계/카운트) 등 입니다)

또 distributed computing 환경을 제가 프로그래머가 아닌데 설치 및 사용이 가능할지 궁금하네요...

아무쪼록 답변에 미리 감사 드립니다!

통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
Je ne sais quoi
18/04/03 00:04
수정 아이콘
저는 windows에서 개발을 안 해서 모르겠지만 hadoop이나 spark이나 windows 설치가 가능한 거 같긴 합니다. 그런데 얘들은 gui tool이 아니라서 프로그래밍을 못하시면 어차피 사용을 하실 수가 없습니다.
그리고 정말 문제는 추출할 데이터 쪽일 수도 있다는 생각이 드는데, 월별 합계/카운트야 데이터를 분할해서 추출하면, 건수가 줄어들테니 일이 좀 쉬워지겠지만, join은 이야기가 다릅니다. join을 할 데이터의 범위와 조건에 따라서는 매우 간단하다고 생각했던 부분이 사실은 굉장히 복잡해질 수 있으니까요.
아무튼 쓰신 걸로만 봐서는 참 답답한 상황인데, 잘 해결하시길 바랍니다.
18/04/03 07:50
수정 아이콘
Sap은 말씀하신 방법처럼 직접 디비에 붙으면 난리납니다.
심하면 디비 뻗는 경우도 생깁니다.
다만 버전은 모르겠지만 S4 버전인 경우 하나 스튜디오를 쓰면 되긴합니다.그 아래 버전인 경우 노답이라고 말씀 드리고 싶네요.
18/04/03 07:50
수정 아이콘
R3 인 경우 인덱스 같은걸 다 잘 걸어줘야 되니까
설계가 잘못된 경우도 있겠네요. 이 경우도 노답
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회
118143 [질문] 월세 지급일 질문입니다. [6] Chelsea5423 18/04/03 5423
118142 [질문] 구두도 운동화처럼 세탁(?) 등의 관리가 가능할지요...? [2] nexon2205 18/04/03 2205
118141 [질문] 이니스프리 그린티 로션 바른 후 홍조 증상이 있는 것 같습니다. [2] 송하나2362 18/04/03 2362
118140 [질문] 일에대한 슬럼프 어떻게 대처하세요? [7] 뽕뽕이2431 18/04/03 2431
118139 [질문] 결혼해야하나요 [17] 삭제됨4463 18/04/03 4463
118138 [질문] [차 구매] 훼미리카 선택 질문 [15] 킴베르슨2950 18/04/03 2950
118137 [질문] 유튜브가 접속이 안됩니다. [10] todTmfprl1981 18/04/02 1981
118136 [질문] [컴퓨터, IT] 빅데이터 분석 질문입니다... [3] 킴베르슨1906 18/04/02 1906
118135 [질문] 교수와 학생 사이의 김영란법 질문입니다. [3] sungsik2333 18/04/02 2333
118134 [질문] 살 곳을 옮겨야 하는데 노량진 vs 신림동 고시촌 질문입니다. [7] 조이4014 18/04/02 4014
118132 [질문] 새 조립컴이 멎는 현상.. 도움 부탁합니다 [5] 빛당태3125 18/04/02 3125
118131 [질문] 서울 코스트코에 대한 질문입니다. [9] 안초비3864 18/04/02 3864
118130 [질문] 맘스터치 햄버거 저탄고지 용으로 쓸만한가요? [17] 가가겨거10342 18/04/02 10342
118129 [질문] 주말에 레디 플레이어 원 보려고 하는데요 [5] 농심카레라면1773 18/04/02 1773
118128 [질문] 식물의 암수구분은 생물학적 구분인가요? [6] 펩시콜라4311 18/04/02 4311
118127 [질문] 영어 공부 질문드립니다. [26] 피지알맨3780 18/04/02 3780
118126 [질문] 에어컨 선택 좀 도와주세요 [10] 삭제됨2817 18/04/02 2817
118125 [질문] 윈도우 10 무료업그레이드 아직도 가능한가요? [4] Brasileiro3793 18/04/02 3793
118124 [질문] 컴퓨터 자체볼륨과 스피커볼륨 궁금합니다 다크템플러2279 18/04/02 2279
118123 [질문] 맥북이 화면보호기 상태거나 덮개를 닫으면 연결이 끊어지는데 해결책 부탁드립니다. [1] johann2386 18/04/02 2386
118122 [질문] 이소프로필 알코올 구입처 문의 [4] 은하관제3156 18/04/02 3156
118121 [질문] 윈도우 10 파일 클릭시 맨 아래로 자동 이동 현상 [2] 노대누대2035 18/04/02 2035
118120 [질문] 사주나 점집 추천부탁드립니다. Syncnavy1878 18/04/02 1878
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로