Data 썸네일형 리스트형 Apache Kafka 카프카 카프카 Apache Kafka 또 아파치다. 비영리 소프트웨어 재단이라고 하는 아파치 대체 뭐길래 매번 등장하는거야. 하둡이랑 XML, 엘라스틱서치(정확히는 루신) 얘기에 모두 빠지지 않았는데 언젠가는 이 재단이 어떻게 유지되는건지에 대해서도 알아볼 날이 있으려나. 아파치 카프카는 오픈 소스 분산 이벤트 스트리밍 플랫폼으로서, 고성능의 데이터 파이프라인, 스트리밍 분석, 데이터 통합, 그리고 미션 크리티컬한 - 오차가 있으면 안 되는 항공우주나 은행 등 - 어플리케이션에서 사용될 수 있다. 아래의 세 가지 주요 기능을 포괄한다. 연속된 이벤트를 읽고 read 쓸 write 수 있으며, 이는 다른 시스템의 데이터를 import / 다른 시스템으로의 export를 포괄한다. 지속적이고 신뢰 가능하게 연속된 .. 더보기 OLAP과 OLTP "olap 으로 말려있으니까 거기서 필요한 거 꺼내 보시면 돼요" "olap이 뭐에요?" "아 그 olap 큐브라고 되어있는거요" "...그래서 olap이 뭔데요?" "..." 일단 두 가지가 있다. oltp와 olap. 근데 또 비슷하게 생겨가지고는 동의어도 반의어도 아니라는 게 이 글을 한 데 묶는 걸 어렵게 만들었지만, 원래 비슷하게 생긴 게 제일 헷갈리는 거니까 묶어도 되지 않을까. 결론만 놓고 보면 둘 다 비즈니스를 돌아가게 하는 상보적인 축이니까. OLAP Online Analytical Processing 의사결정 지원 시스템. 2차원 중심인 데이터베이스가 아닌, 실제 의사분석에 필요한 다차원 분석을 가능하게 한다. 따라서 OLAP 시스템의 이용자는 BI 부서, 데이터 분석이 필요한 상품 부.. 더보기 xml과 json 프론트에서 그린거 말고 api 반환값을 직접 좀 들여다봐야 할 때가 있다. 반환해야 될 값이 빠져있거나, 전달은 되는데 프론트 상에서 노출이 안되거나 하는 경우인데 지금 일하는 곳서는 프론트 단에서 노출 서버 API에 키워드와 조건 (이용자 정보) 등을 조합해 질의 노출 서버는 적절한 문서 조합을 반환 하는데, 이 때 반환되는 문서가 xml 형태이다. 덕분에 파싱도 해보고 파라미터 여러 개 바꿔가며 가지고 놀 수 있었는데, 대체 이 xml 형식의 문서가 뭐고 api가 이런 종류의 응답을 제공하는 게 일반적인지, 아니면 다른 형태의 리턴도 줄 수 있는지 알아보려고 한다. 회의 하다가 "xml 대신 json으로 드릴까요?" 라는 말이 나왔기 때문에. XML Xtensible Markup Language. 1.. 더보기 Apache Hadoop 하둡 작년 중순이었나, 다방면으로 엄청 열정적인 개발자 분이 NoSQL 전반에 대해 한번 스터디를 진행해주신 적이 있었다. 그 당시 절반도 이해하지 못했어서 좀 난감했는데, 결국 회사 데이터가 적재되고 활용되는 백본을 알아야겠다는 결론에 도달. 원래는 혼자 보려고 노션에 정리하려다가, 회사에선 노션을 쓸 수 없잖아? 개인 홈페이지 등 여러 대안을 생각해보다가 빠른 실행 + 앞으로 누적될 학습을 위해 웹 편집이 가능한 티스토리에 정착했다는 이야기. Hadoop? 아파치 하둡 프로젝트는 신뢰성 있고(reliability), 확장 가능(scalability)한 분산 컴퓨팅을 위한 오픈 소스 소프트웨어이다. * 아파치: 오픈 소스 소프트웨어 그룹 아파치 하둡 소프트웨어 라이브러리는 간단한 프로그래밍 모델을 이용해 (.. 더보기 이전 1 다음
