본문 바로가기
[P1-1] GA4의 이벤트 정합성 평가도구 GA를 오래 써왔지만, 늘 아쉬움이 남았던 것이 있어요. 그동안 데이터 분석 툴로는 주로 GA를 활용해왔어요.마케팅 의사결정을 위해 이벤트 설계, 세팅, 활용 방법까지 꽤 많이 다뤄왔고요.그런데 막상 현장에서 가장 많이 받았던 질문은 이런 것이었습니다.“이미 세팅은 했는데, 데이터가 괜찮은지 봐주세요.” 이벤트를 설계하는 것도 중요하지만, 그보다 앞단인 데이터 정합성에서 생각보다 큰 니즈가 있다는 것을 느꼈습니다.이벤트가 제대로 들어오고 있는지파라미터가 빠지진 않았는지세션 단위 흐름이 자연스러운지설계 이전에, 지금 수집되고 있는 데이터가 믿을 수 있는지 확인하는 과정은 생각보다 번거로웠고...그래서 만들기 시작했습니다."이벤트 정합성 평가 도구"Codex와 함께 조금씩 고도화하고 있는 중입니다. :)첫 ..
[LangChain] 회의록 요약 구조 만들기2. (OutPutParser) 지난 글에서는 PromptTemplate로 회의록(변수)과 요약 구조(고정 형식)를 만들어 보았습니다.출력도 해보았는데 사람이 읽기에는 충분했습니다. 그러나 회사에서는 회의록은 보통 노션이나 캘린더, 메신저 등 다른 시스템으로 이어져 활용될 수 있습니다. 그래서 이번에는 시스템이 바로 처리할 수 있는 출력 형식을 만들어보려고 합니다. OutputParser는 언어 모델이 만든 텍스트 응답을 정해진 데이터 구조로 변환해, 이후 자동화 흐름에서 안정적으로 활용할 수 있게 도와주는 도구입니다. OutputParser에도 여러 종류가 있는데, 저는 회의록 결과를 여러 항목으로 나눠 구조화된 JSON 데이터로 받고 싶었기 때문에 StructuredOutputParser를 먼저 고려했습니다. 다만 LangChain..
[LangChain] 회의록 요약 구조 만들기1. (PromptTemplate) 이번 글에서는 LangChain의 PromptTemplate 개념을 사용합니다. GPT가 등장한 이후로 여러 업무에서 활용하고 계실 것 같습니다. 특히 회사에서는 든든한 업무 파트너처럼 느껴질 때도 많죠. 회의를 하고 나면 정신은 없고, 회의록을 다시 들여다보는 건 늘 귀찮은 일인데, GPT 덕분에 자연스럽게 회의록 요약을 부탁하게 됐습니다.처음엔 꽤 만족스러웠어요. 대충 적어둔 내용도 읽기 좋은 문장으로 정리해주고, 중요한 포인트도 알아서 짚어주니까요. 그런데 두 번, 세 번 반복해서 쓰다 보니 어딘가 계속 아쉬운 느낌이 들기 시작했습니다. 같은 회의록을 두고도 매번 요청 방식에 따라 결과가 달라졌고, 그 차이가 점점 신경 쓰이기 시작했거든요. 같은 회의록을 두고 어떤 차이를 만들고 있을까? A:이 회..
[LangChain] Runnable로 만드는 일상 기록 정리 LangChain Runnable,RunnableParallel, RunnableLambda 개념을 활용합니다. 어떤 것을 만들어 볼까 고민하다가 일상 기록을 정리하는 것을 만들어보려고 합니다." 오늘 한 일을 사용자가 적으면 gpt가 하루를 정리하도록 하자 !" #1.GPT에게 어떤 소스를 주고 분석을 해달라고 할까? 1) RunnableParallel예를들어 오늘 아이 등원시키고, 일을 하고, 하원하고, 저녁밥을 하고, 청소를 하느라 지쳤다. 라는 글을 적었다고 생각합니다.RunnableParallel를 연습하기 위해서 만드는 것이기 때문에 사용자의 1개의 글을 4개 정도의 관점으로 나눠보려고 합니다.* RunnableParallel : 하나의 입력 데이터(사용자의 오늘 하루에 대한 글)을 여러 관점..
[크롤링] 인스타그램 공식 API로 크롤링하기 안녕하세요. 이번 포스팅에서는 인스타그램 공식 API를 사용해서 크롤링을 해보려고 합니다. 준비 : 페이스북 비즈니스 계정, 인스타그램 프로페셔널 혹은 크리에이터 계정 1단계 : Facebook App 설정먼저 Meta 개발자 센터에서 앱을 만들어야 하는데요.앱을 만드는 이유는 Meta개발자 플랫폼에 앱을 등록해야 API 접근 권한을 받을 수 있기 때문입니다. 쉽게 말하면 Facebook App은 Meta의 API 사용을 위한 ‘출입증 신청서’ 같은 역할입니다.어떤 계정이 어떤 권한을 요청하고, 어떤 데이터를 접근하려는지 Meta가 파악해야 하기 때문이에요.https://developers.facebook.com/ 여기에서 내 앱을 눌러 앱을 만듭니다. 앱만들기 버튼을 누르면 되세요.여기서 차례대로 앱..
[판다스 기초] 특정 행 선택, 값 찾기, 중복 제거까지 한 번에 끝내기 이번 포스팅에서는 판다스로 특정 행을 가져오거나, 특정 값이 있는지 확인하고, 중복 데이터를 제거하는 방법을 소개하겠습니다. 1. 특정 행 가져오기우선 고객정보 데이터가 있다고 가정해 봅시다.여기에서 예를들어 이영희 고객만 보고 싶다고 했을 때,판다스에서는 조건 필터링을 위해 df[df['이름'] == '이영희']로 가져올 수 있습니다.만약 id가 104번 이상만 보고 싶다고 하면, df[df.id >= 104]로 볼 수 있어요.보통은 등급별로 많이 볼텐데, 등급도 df[df['등급'] == '실버'] 이런식으로 가져올 수 있지요.만약, 두가지 이상의 조건을 넣고 싶다면, 성별이 여자이고 실버 고객만 보고 싶다면,df[(df['성별']] == '여') & (df['등급'] == '실버')] 로 작성할 수..
[Pandas] 판다스로 데이터프레임 만들기 이번 포스팅에서는 Pandas로 만들 수 있는 DataFrame 연습을 해보려고 해요. 1.  DataFrame의 기본판다스의 데이터 프레임을 만드는데 '이름' '나이' 는 key로 컬럼 이름, value로 들어가는 것은 리스트로 작성해 주었습니다. 2. 인덱스 지정하기인덱스는 기존 데이터 프레임의 데이터에 ,를 찍고 index=[1,2,3]이런식으로 넣을 수 있어요.index는 리스트나 배열 형태로 들어가면 된답니다. 3. 다중 인덱스 지정하기그렇다면 다중 인덱스는 어떻게 사용할 수 있을까요? 여기에서는 튜플이 사용 됩니다. data를 준비하고, data = {'인구수' : [100000,80000,70000]}다중 인덱스는 MutiIndex.from_tuples를 사용합니다.  4. 연습하기월지역카테..
[판다스] 판다스 처음 써봤다면? CSV 불러오고 편집하는 방법 정리 파이썬에서 가장 중요하면서 기본적인 라이브러리 중 하나인 판다스 라이브러리를 알아보겠습니다. 판다스(Pandas)는 엑셀처럼 표를 만드는 도구라고 이해하시면 됩니다.그리고 이렇게 표를 만들고, 표의 필요없는 칸을 지우거나, 이름을 바꾸거나, 수식을 사용해서 평균이나 합계 등을 내거나, 필요한 것만 골라서 보거나, 표를 합치거나, 그룹으로 묶거나, 비어있는 곳을 임의의 숫자로 채우거나, 차트로 보여주는 것까지 할 수 있습니다.결국 데이터를 처리하는데 여러가지 편집을 할 수 있으며 대용량 데이터에 활용이 가능해서 엑셀과 차이가 있다고 볼 수 있습니다. 1. DataFrame과 Series 판다스의 핵심 두가지 용어를 알아보자.1) Series숫자나 글자들을 한 줄로 모아놓은 것(열 하나짜리 표)index가 ..

티스토리툴바