Veri Mühendisi

Boru hattında gece vakti var mı? Geçici bir çözüm değil, yapıyı düzelttim. Bir fiyat sorgusu var mı? Jij ziet meteen waar het misgaat. Performans pazarlamasında veri kloptuyla ilgili bilgi edinildi: veri ambarı aracılığıyla tüm boru hatlarından elde edilen verileri entegre ettiğimiz yapay zeka modeline göre daha fazla bilgi edinme, daha fazla bilgi edinme ve yapay zeka modelini kullanma.

Biraz da olsa bunu başardık, çünkü yeni bir veri altyapısına yatırım yapmak için kapımız açıldı. Veri yapısını daha iyi hale getirmek için, daha verimli ve verimli bir şekilde izlenmesini istiyoruz. Tüm bunların işlevini yerine getirebilmesi için boru hatları ve depoların çoğunu satın aldık. En iyi mimariye sahip olmak, iki yıldan fazla bir süredir, aynı zamanda aletlerle birlikte çok daha verimli hale geliyor. Bir ajansın çok fazla şey söylediğini fark ettik. Bu, her şeyin yolunda gitmesi için bir fırsattır.

Ne yaptın

• Daha sonra, ETL ve ELT iş akışları çok daha kolay bir şekilde satın alındı.

• Verileri DAG platformları aracılığıyla yönetiyoruz. Windmill'le daha önce tanışıp daha iyi bir stabilite sağlayan bir platforma geçiş yaptık. Jij hebt daar een zwaarwegende kök saldı.

• Dönüştürmeler için Python ve TypeScript'i kullanıyoruz.

• Bewaakt kwaliteit, uptime ve betrouwbaarheid. Bir boru hattını kırın ve herhangi bir geçici çözüm olmadan yapıyı düzeltin.

• LLM'ler, boru hatlarında çok büyük bir dönüşümsel aşamaya sahiptir, toplu verilerle veri sınıflandırması için çok yönlüdür.

• Maliyetleri artırın: BigQuery sorgularını optimize edin, tokenverbruik'ten önce gereğinden fazla API çağrısını yönetin.

Onze yığını
BigQuery, Google Cloud Platform, Windmill, Python, TypeScript ve ana uygulama için PHP/Laravel, GitHub ve CI/CD, OpenAI ve Anthropic ve Google Gemini. Altyapı olarak Terraform ve Ansible ile, telemetri izleme için ise Sentry, Slack Applications, Grafana, Loki ve InfluxDB ile tanıştık. Daha iyi bir alternatif var mı? Dan Horen, biz de çok memnunuz.

Erkek takımı
Bir Klein mühendislik ekibiyle, çok iyi sonuçlar veren iki mühendisle bir araya geldik. Raportör, koordinatöre / takım liderine geri döndü, bu yüzden en iyiyi bulmak, kapıdan çıkma fikrine ulaşmak için henüz çok kısa.

Ne oldu?

• Bir maaş, uzmanlığa dayalı olarak geçer.

• Yıl başına 26 vaka, en fazla 5 bij kopen.

• Bu yıl için toplam 1.000 Avroluk bir büyük bütçe, zenginliğe gitti.

• Bir pansiyona gittim, bir kez daha kaldım.

• Hibrit bir yapıda, her bir uzak yapı için maksimum 3 dakika.

• BigQuery, GCP, DAG platformlarını ve büyük LLM sağlayıcıları için beta API'leri kullanma.

• Veri mühendisliği ve yapay zeka üzerine internetle ilgili bilgiler ve derinlemesine incelemeler.

Dit ben jij
Veri mühendisliğinin üretimde yeterli mimariye sahip olmasıyla en az 2 ila 3 yıl arasında, hiçbir kayıp kaybedilmedi. Verder:

Ne yapmalıyız?

• Çok sağlam, Python ve TypeScript'te kod üretimi.

• ELT iş akışlarının ETL'si başka bir yere taşınıyor.

• SQL ve BigQuery'de çok ustalaştık: karmaşık sorgular, pencere işlevleri ve veri modelleme.

• Daha önce DAG platformunda, Windmill, Airflow, Dagster, Prefect, Ingest of Temporal'da tanıştık.

• CI/CD'nin veri altyapısı üzerinde çok daha fazla sürümü var.

• Google Cloud Platform ile 2 ila 3 yıl boyunca, kapı girişinde en iyi şekilde yararlanarak, bu durum için uygun bir seçenek sağladık.

Bana da öyle geldi

• Bir Google Cloud sertifikası: minimum Profesyonel Veri Mühendisi ve profesyonel Bulut Mimarı. Şunu söyleyebiliriz ki: Google Bulut Ortaklığı statüsü için gerekli olan platformun ne olduğu hakkında hiçbir fikrimiz yok.

• Ervaring, veri işleme alanında yüksek lisans (LLM) ile tanıştı.

• Ervaring, ana uygulamada entegrasyon için Laravel'in PHP'siyle tanıştı.

• Ervaring, göçmen orkestra platformlarıyla tanıştı.

• Bulut hizmetindeki FinOps'u tercih edin.

Herken jezelf, het büyük bir deel hiervan'da, maar niet in alles? Avukat ayrıca.

Waarom Follo mu?
Daha sonra, çok güzel bir arazide dolaştık ve benim için bir etkinlik bulduk. Yapay zeka, çok popüler bir kelimedir, ancak biz bunu biliyoruz. Bir MCP-koppelingen, LLM'lerde iş akışlarını otomatik hale getirir ve aynı zamanda tekil veri işlemede geniş bir adım atar.

• Büronun işe yaradığı bir altyapı satın aldık: Elk ile bağlantı kurmak iki günlük boru hatlarına başlıyor.

• Orkestra platformundaki geçiş araçları da dahil olmak üzere çeşitli mimari ve araçlar kullanıldı.

• Yapay zeka DNA'ya işliyor: van FolloEngine, LLM'nin üretim hatlarındaki en büyük adımını oluşturuyor.

• Sterke merken en echte uitdagingen, bir büroda Avrupa'nın hedeflerini karşıladı.

Hiç takip etmediniz mi?
Birleştirin ve yönlendirin. Heb je nog vagen? İşe alım görevlisini e-posta yoluyla gönderin. Çok güzel!
Arbeitnow'da Hollanda'da İş Bulun

Kaynak: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/follo/data-engineer-dongen-69238)