PGR21.com
- PGR21 관련된 질문 및 건의는 [건의 게시판]을 이용바랍니다.
- (2013년 3월 이전) 오래된 질문글은 [이전 질문 게시판]에 있습니다.
통합 규정을 준수해 주십시오. (2015.12.25.)
Date 2018/04/02 23:49:50
Name 킴베르슨
Subject [질문] [컴퓨터, IT] 빅데이터 분석 질문입니다...
안녕하세요
첫 질문글 올립니다.
두 가지 사항으로 업무가 막히고 있습니다...;;

1. SAP 테이블에서 데이터 추출하는데 (3일치 정도) 로딩이 너무 오래 걸리면서 에러가 뜹니다. 최소 1개월 또는 1년치 자료가 복수의 테이블에서 필요한데 SAP GUI외 DB에 붙어서 추출하는 방법이 없을까요?

2. 위 질문에서 어찌어찌 데이터를 뽑아낸 후를 가정해보면 건수가 몇십, 몇백억 건이기 때문에 SQL로는 도저히 분석이 불가능할 것 같습니다. 조금 조사를 해보니 1.5억 건이 MS SQL이나 MySQL로 분석할수 있는 제한인 것 같습니다. Hadoop 이나 Spark 등의 빅데이터 분석 툴들을 찾아봤는데 관련 설치 및 사용에 관한 실용적인 서적이나 사이트가 있을까요? 설치하고자 하는 PC는 윈도우 10입니다. 회사 사정과 윗분들 설득의 어려움으로 윈도우/리눅스 서버 구매는 매우 어려울 것 같습니다. AWS나 MS Azure 등의 유료 옵션도 고려중인데 회사에서 이런 빅데이터와 관련하여 이해를 해주시는 윗분이 현재는 없습니다.
(하고자 하는 업무는 SQL query 와 같이 간단한 table join 및 필터링 + roll-up (월별 합계/카운트) 등 입니다)

또 distributed computing 환경을 제가 프로그래머가 아닌데 설치 및 사용이 가능할지 궁금하네요...

아무쪼록 답변에 미리 감사 드립니다!

통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
Je ne sais quoi
18/04/03 00:04
수정 아이콘
저는 windows에서 개발을 안 해서 모르겠지만 hadoop이나 spark이나 windows 설치가 가능한 거 같긴 합니다. 그런데 얘들은 gui tool이 아니라서 프로그래밍을 못하시면 어차피 사용을 하실 수가 없습니다.
그리고 정말 문제는 추출할 데이터 쪽일 수도 있다는 생각이 드는데, 월별 합계/카운트야 데이터를 분할해서 추출하면, 건수가 줄어들테니 일이 좀 쉬워지겠지만, join은 이야기가 다릅니다. join을 할 데이터의 범위와 조건에 따라서는 매우 간단하다고 생각했던 부분이 사실은 굉장히 복잡해질 수 있으니까요.
아무튼 쓰신 걸로만 봐서는 참 답답한 상황인데, 잘 해결하시길 바랍니다.
18/04/03 07:50
수정 아이콘
Sap은 말씀하신 방법처럼 직접 디비에 붙으면 난리납니다.
심하면 디비 뻗는 경우도 생깁니다.
다만 버전은 모르겠지만 S4 버전인 경우 하나 스튜디오를 쓰면 되긴합니다.그 아래 버전인 경우 노답이라고 말씀 드리고 싶네요.
18/04/03 07:50
수정 아이콘
R3 인 경우 인덱스 같은걸 다 잘 걸어줘야 되니까
설계가 잘못된 경우도 있겠네요. 이 경우도 노답
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회
118154 [질문] 컴퓨터 견적 체크한번 해주세요! [3] BBoShaShi2448 18/04/03 2448
118153 [질문] TV 모니터 전원을 일일히 꺼줘야 해요 [6] Maiev Shadowsong5365 18/04/03 5365
118152 [질문] 스팀게임 이름 질문드립니다 [5] 깐딩2639 18/04/03 2639
118151 [질문] 음식 먹고 몸이 뻐근해지고 열나는 증상에 대해 [12] 힘내고화이팅하자3667 18/04/03 3667
118150 [질문] PC용 게임패드 질문 [5] 나른한날2084 18/04/03 2084
118149 [질문] 음식 재료는 썰면 영양이 파괴되나요? [7] Right2719 18/04/03 2719
118148 [질문] 컴퓨터가 무한부팅합니다. [6] 북두가슴곰2409 18/04/03 2409
118147 [질문] 스마트폰 해킹 여부를 알 수 있나요? 럭키가이2448 18/04/03 2448
118146 [질문] 이런 것도 피싱 사기인가요? [2] 비싼치킨2338 18/04/03 2338
118145 [질문] 월세 방을 구하려는데 부동산 질문입니다. [8] 나스이즈라잌3515 18/04/03 3515
118144 [질문] 100만원 PC견적 문의 [12] 마롱3369 18/04/03 3369
118143 [질문] 월세 지급일 질문입니다. [6] Chelsea5359 18/04/03 5359
118142 [질문] 구두도 운동화처럼 세탁(?) 등의 관리가 가능할지요...? [2] nexon2151 18/04/03 2151
118141 [질문] 이니스프리 그린티 로션 바른 후 홍조 증상이 있는 것 같습니다. [2] 송하나2313 18/04/03 2313
118140 [질문] 일에대한 슬럼프 어떻게 대처하세요? [7] 뽕뽕이2405 18/04/03 2405
118139 [질문] 결혼해야하나요 [17] 삭제됨4375 18/04/03 4375
118138 [질문] [차 구매] 훼미리카 선택 질문 [15] 킴베르슨2890 18/04/03 2890
118137 [질문] 유튜브가 접속이 안됩니다. [10] todTmfprl1917 18/04/02 1917
118136 [질문] [컴퓨터, IT] 빅데이터 분석 질문입니다... [3] 킴베르슨1856 18/04/02 1856
118135 [질문] 교수와 학생 사이의 김영란법 질문입니다. [3] sungsik2294 18/04/02 2294
118134 [질문] 살 곳을 옮겨야 하는데 노량진 vs 신림동 고시촌 질문입니다. [7] 조이3935 18/04/02 3935
118132 [질문] 새 조립컴이 멎는 현상.. 도움 부탁합니다 [5] 빛당태3025 18/04/02 3025
118131 [질문] 서울 코스트코에 대한 질문입니다. [9] 안초비3798 18/04/02 3798
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로