PGR21.com
- PGR21 관련된 질문 및 건의는 [건의 게시판]을 이용바랍니다.
- (2013년 3월 이전) 오래된 질문글은 [이전 질문 게시판]에 있습니다.
통합 규정을 준수해 주십시오. (2015.12.25.)
Date 2018/04/02 23:49:50
Name 킴베르슨
Subject [질문] [컴퓨터, IT] 빅데이터 분석 질문입니다...
안녕하세요
첫 질문글 올립니다.
두 가지 사항으로 업무가 막히고 있습니다...;;

1. SAP 테이블에서 데이터 추출하는데 (3일치 정도) 로딩이 너무 오래 걸리면서 에러가 뜹니다. 최소 1개월 또는 1년치 자료가 복수의 테이블에서 필요한데 SAP GUI외 DB에 붙어서 추출하는 방법이 없을까요?

2. 위 질문에서 어찌어찌 데이터를 뽑아낸 후를 가정해보면 건수가 몇십, 몇백억 건이기 때문에 SQL로는 도저히 분석이 불가능할 것 같습니다. 조금 조사를 해보니 1.5억 건이 MS SQL이나 MySQL로 분석할수 있는 제한인 것 같습니다. Hadoop 이나 Spark 등의 빅데이터 분석 툴들을 찾아봤는데 관련 설치 및 사용에 관한 실용적인 서적이나 사이트가 있을까요? 설치하고자 하는 PC는 윈도우 10입니다. 회사 사정과 윗분들 설득의 어려움으로 윈도우/리눅스 서버 구매는 매우 어려울 것 같습니다. AWS나 MS Azure 등의 유료 옵션도 고려중인데 회사에서 이런 빅데이터와 관련하여 이해를 해주시는 윗분이 현재는 없습니다.
(하고자 하는 업무는 SQL query 와 같이 간단한 table join 및 필터링 + roll-up (월별 합계/카운트) 등 입니다)

또 distributed computing 환경을 제가 프로그래머가 아닌데 설치 및 사용이 가능할지 궁금하네요...

아무쪼록 답변에 미리 감사 드립니다!

통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
Je ne sais quoi
18/04/03 00:04
수정 아이콘
저는 windows에서 개발을 안 해서 모르겠지만 hadoop이나 spark이나 windows 설치가 가능한 거 같긴 합니다. 그런데 얘들은 gui tool이 아니라서 프로그래밍을 못하시면 어차피 사용을 하실 수가 없습니다.
그리고 정말 문제는 추출할 데이터 쪽일 수도 있다는 생각이 드는데, 월별 합계/카운트야 데이터를 분할해서 추출하면, 건수가 줄어들테니 일이 좀 쉬워지겠지만, join은 이야기가 다릅니다. join을 할 데이터의 범위와 조건에 따라서는 매우 간단하다고 생각했던 부분이 사실은 굉장히 복잡해질 수 있으니까요.
아무튼 쓰신 걸로만 봐서는 참 답답한 상황인데, 잘 해결하시길 바랍니다.
18/04/03 07:50
수정 아이콘
Sap은 말씀하신 방법처럼 직접 디비에 붙으면 난리납니다.
심하면 디비 뻗는 경우도 생깁니다.
다만 버전은 모르겠지만 S4 버전인 경우 하나 스튜디오를 쓰면 되긴합니다.그 아래 버전인 경우 노답이라고 말씀 드리고 싶네요.
18/04/03 07:50
수정 아이콘
R3 인 경우 인덱스 같은걸 다 잘 걸어줘야 되니까
설계가 잘못된 경우도 있겠네요. 이 경우도 노답
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회
118166 [질문] 축구전술에 대한 정보는 어디서 얻을수있을까요 [6] Syncnavy1830 18/04/03 1830
118165 [질문] [입사취소]채용건강검진 [26] Notorious28050 18/04/03 28050
118164 [질문] 눈썹문신 해도 되는 눈썹인지 봐주실 수 있나요? [20] 뀨뀨4119 18/04/03 4119
118163 [질문] 하스스톤 관전퀘 도와주세요 [1] 1935 18/04/03 1935
118162 [질문] 1200mm 매트리스를 사용할 침대 프레임을 사고싶습니다. [3] 면역4036 18/04/03 4036
118161 [질문] 계량경제학 교재 추천 부탁드립니다. [3] Challenger2295 18/04/03 2295
118159 [질문] 컴퓨터 부품 구매는 어디서 하시나요? [7] 겨울비2399 18/04/03 2399
118158 [질문] 데이트) 여자들이 친구를 데리고 나오는 이유 [55] 갓파고16179 18/04/03 16179
118157 [질문] 제가 글쓰는 방식이 잘못 됐습니까?(하소연) [59] 그룬가스트! 참!5974 18/04/03 5974
118156 [질문] CCTV 설치 인건비가 어느정도 인가요? [11] will4952 18/04/03 4952
118155 [질문] 내집 마련하게 되면 주택청약통장은 폐기해야하나요?? [5] 개념은?4018 18/04/03 4018
118154 [질문] 컴퓨터 견적 체크한번 해주세요! [3] BBoShaShi2526 18/04/03 2526
118153 [질문] TV 모니터 전원을 일일히 꺼줘야 해요 [6] Maiev Shadowsong5450 18/04/03 5450
118152 [질문] 스팀게임 이름 질문드립니다 [5] 깐딩2678 18/04/03 2678
118151 [질문] 음식 먹고 몸이 뻐근해지고 열나는 증상에 대해 [12] 힘내고화이팅하자3703 18/04/03 3703
118150 [질문] PC용 게임패드 질문 [5] 나른한날2151 18/04/03 2151
118149 [질문] 음식 재료는 썰면 영양이 파괴되나요? [7] Right2767 18/04/03 2767
118148 [질문] 컴퓨터가 무한부팅합니다. [6] 북두가슴곰2455 18/04/03 2455
118147 [질문] 스마트폰 해킹 여부를 알 수 있나요? 럭키가이2492 18/04/03 2492
118146 [질문] 이런 것도 피싱 사기인가요? [2] 비싼치킨2399 18/04/03 2399
118145 [질문] 월세 방을 구하려는데 부동산 질문입니다. [8] 나스이즈라잌3582 18/04/03 3582
118144 [질문] 100만원 PC견적 문의 [12] 마롱3435 18/04/03 3435
118143 [질문] 월세 지급일 질문입니다. [6] Chelsea5423 18/04/03 5423
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로