프로도의 블로그

구글 TPU 외부 개방으로 AI 반도체 시장 경쟁 심화 예상개요: AI 반도체 시장의 새로운 경쟁 구도구글이 자체 개발한 AI 칩 TPU를 외부에 개방하면서, AI 반도체 시장은 엔비디아 독점에서 벗어나 새로운 경쟁 시대로 접어들고 있습니다. 메타, 앤트로픽 등 빅테크 기업들의 '탈 엔비디아' 움직임과 함께, TPU의 등장은 시장의 다변화와 혁신을 가속화할 것입니다. TPU의 성능, 개방 배경, 그리고 시장에 미치는 영향 등을 분석하여 미래 AI 반도체 시장을 전망해 봅니다.TPU, 정말 엔비디아 GPU를 뛰어넘는 성능을 보여줄까?TPU는 구글이 AI 워크로드를 위해 설계한 칩으로, 특히 텐서플로우 환경에서 뛰어난 효율을 자랑합니다. 엔비디아 GPU는 범용성이 높지만, TPU는 특정 AI 작업에 최적화되..

Application Default Credentials (ADC)는 Google Cloud 클라이언트 라이브러리와 API가 코드를 변경하지 않고도 다양한 환경(로컬 개발 환경, Compute Engine, Cloud Run, GKE 등)에서 자동으로 인증 정보를 찾을 수 있도록 해주는 메커니즘입니다. 개발자는 인증 로직을 직접 구현할 필요 없이, ADC가 정해진 순서에 따라 인증 정보를 찾아 Google Cloud 서비스에 대한 요청을 인증하게 됩니다. 이를 통해 코드의 이식성이 크게 향상됩니다.ADC의 작동 방식: 인증 정보 검색 순서ADC는 다음과 같은 순서로 인증 정보를 검색하며, 가장 먼저 발견되는 것을 사용합니다.GOOGLE_APPLICATION_CREDENTIALS 환경 변수ADC는 가장 먼..

Google Cloud Platform 환경에서 Data Warehouse를 운영한다면 소스 데이터를 데이터 추출, 변환, 적재 작업인 ETL 과정을 거치게 됩니다. 기존에는 Dataform 서비스를 이용하여 ETL 과정을 대부분 처리했습니다.BigQuery Data preparation 서비스는 ETL 과정 중에 변환(Transformation) 단계를 효율적이고 생산적으로 수행할 수 있도록 도와줍니다.Data preparation는 데이터를 처리할 때 Gemini를 이용할 수 있는 시각화된 UI를 Bigquery Studio 안에서 제공합니다. 데이터 준비 작업을 할 때 데이터 정제, 변환, 보강이 필요한 부분을 AI가 찾아서 수정 방법을 추천해 줍니다. 그 결과 데이터의 특징을 찾거나 변환 쿼리를 ..

요약이 문서는 Redefine data and AI governance in the unified BigQuery platform 영상을 참고하여 AI Agent가 Bigquery Universal Catalog를 이용하여 사용자의 요구사항에 대한 정확한 답변을 할 수 있는 방법을 연구하고자 작성했습니다.요약하면 기업은 전사적으로 사용하는 Bigquery Universal Catalog에서 모든 비즈니스 용어, 메타데이터, 지식 엔진, 카탈로그 데이터를 통합 관리하여 일관성 있고 정확한 정보를 AI Agent에게 주입하여 사용자의 요청에 대한 답변을 할 수 있을 것으로 예상합니다.아래 그림과 같이 Ingelligent, integrated metadata layer에서 메타데이터를 통합 관리 합니다.AI..

Google Cloud의 Dataplex Universal Catalog는 기업이 데이터 자산에 대한 표준화된 어휘를 구축하고 관리할 수 있도록 지원하는 비즈니스 용어집 기능을 제공합니다. 이 기능은 여러 팀이나 부서 간의 데이터 관련 커뮤니케이션 오류를 줄이고 데이터에 대한 일관된 이해를 촉진하여 데이터 검색을 간소화하고 분석의 정확성을 높이며 데이터 거버넌스를 개선하고 더 빠른 인사이트를 제공하는 것을 목표로 합니다.요약비즈니스 용어집 관리가 중요한 이유는 전사적으로 사용하는 용어들을 통합하여 용어 불일치에 따른 리스크를 줄일 수 있습니다. 또한 AI Agent에게 회사 전체 비즈니스에 대한 지식을 주입 시켜서 비즈니스에 대하여 이해시키고, Text2SQL과 같이 Agent가 사용자의 질문에 대한 정..

Dataplex를 사용을 중단한 이후에도 비용이 발생하는 상황이 발생했습니다. 이러한 상황에서 어떻게 원인을 찾고 해결했는지 알아보겠습니다.Dataplex 소개Google Cloud Platform의 Dataplex는 데이터 거버넌스와 관리 기능을 통합한 데이터 패브릭 서비스입니다. 데이터가 저장된 위치와 관계없이 통합된 메타데이터 관리, 데이터 품질 점검, 정책 적용을 지원합니다. BigQuery, Cloud Storage 등 다양한 데이터 소스를 중앙에서 관리할 수 있습니다. 보안 정책과 데이터 분류를 자동으로 적용하여 규정 준수를 돕습니다. 데이터 카탈로그 기능을 통해 조직 전체의 데이터 검색성과 활용도를 높입니다.https://cloud.google.com/dataplex?hl=koDataplex..