Collecte de données
La collecte de données est nécessaire lorsqu'une entreprise n'a pas besoin d'une liste aléatoire de contacts, mais d'informations vérifiables pour effectuer des études de marché, remplir un catalogue, mettre à jour un annuaire ou travailler avec ses propres clients. L'entrepreneur doit comprendre l'objectif du projet, utiliser des sources autorisées et préserver la provenance de chaque entrée importante. Sur DitWork, vous pouvez commander une collecte manuelle, travailler via l'API officielle ou un processus combiné avec vérification humaine ultérieure.
Vous ne pouvez pas collecter de données en contournant les conditions de sécurité, d'autorisation ou d'accès, ni créer de bases de données pour les mailings indésirables. Les informations personnelles ne sont traitées que s'il existe une base légale et un objectif clair. Le contractant peut garantir le respect de la méthodologie convenue et l'étendue des contrôles, mais pas la pertinence éternelle de la source ou le résultat commercial de l'utilisation des données.
Quels problèmes le service résout-il ?
Une commande doit commencer par une tâche commerciale spécifique, et non par l'exigence d'obtenir autant de lignes que possible. Pour le service de collecte de données, il est utile de prédéfinir le segment, la géographie, les champs obligatoires, les sources acceptables et l'action que l'équipe envisage d'entreprendre après avoir reçu le résultat. Les tâches typiques incluent la recherche d'entreprises et d'organisations, le remplissage d'un catalogue de produits, la collecte de caractéristiques ouvertes, la préparation d'un répertoire de fournisseurs, la mise à jour de votre propre CRM et la collecte des prix via une source autorisée. Plus les critères sont précis, moins il y a d’enregistrements inutiles et plus il est facile de mesurer la qualité.
- recherche d'entreprises et d'organisations
- remplir le catalogue de produits
- collection de caractéristiques ouvertes
- préparation d'un annuaire des fournisseurs
- mettre à jour votre propre CRM
- collecte des prix via une source autorisée
- prélèvement pour analyse
- préparer les données pour l'intégration
Ce qui est inclus dans le résultat
Le résultat doit être utilisable et ne pas ressembler à un fichier inexplicable. Pour la « Collecte de données », l'interprète transmet les champs convenus, la description des sources, la date de traitement, les règles de nettoyage et un rapport de restrictions. Un package utile comprend CSV, XLSX ou JSON d'un schéma approuvé, une description des sources, la date de la dernière révision, les statuts de confirmation, un journal des lignes exclues et un rapport en double. Le format et l'encodage sont fixés avant le démarrage afin que le fichier soit correctement importé dans le CRM, le tableur ou la base de données.
| Scène | Résultat | Comment vérifier |
|---|---|---|
| Pilote | CSV, XLSX ou JSON selon le schéma approuvé et description des sources | conformité des segments |
| Traitement | identifiant unique, titre et catégorie, source et URL | exhaustivité des champs obligatoires |
| Contrôle | part des doublons, pertinence de la source et exactitude de l'encodage | doublons inclus dans le rapport |
| Diffuser | dupliquer le rapport, le dictionnaire de champs et les instructions de mise à jour | les données personnelles ne dépassent pas le volume convenu |
Ce qu'il faut inclure dans les spécifications techniques
Les termes de référence doivent décrire quelles données peuvent être utilisées, dans quel but elles sont nécessaires et qui sera propriétaire du résultat. Précisez le but de l'étude, la description du segment, la géographie et la langue, les sources autorisées, les champs obligatoires et interdits et le format de fichier souhaité. Un exemple de plusieurs lignes correctes et incorrectes permet de se mettre rapidement d'accord sur l'interprétation des exigences. Répertoriez séparément les champs qui ne peuvent pas être collectés, stockés, enrichis ou transmis.
- but de l'étude
- description du segment
- géographie et langue
- sources autorisées
- champs obligatoires et interdits
- format de fichier requis
- règles de vérification
- période de validité
Sources et base juridique
La source doit être compréhensible, vérifiable et valide pour l’objectif déclaré. La priorité est donnée aux données clients, aux API officielles, aux registres publics à usage autorisé, aux informations volontaires et aux ensembles sous licence. Pour la « Collecte de données », les conditions d'utilisation de la source, la présence d'une API officielle, la date de publication, le droit de réutilisation, les robots et les restrictions de fréquence ainsi que l'origine du contact sont vérifiés. Vous ne pouvez pas contourner l'autorisation, le CAPTCHA, les restrictions techniques, les conditions d'accès ou collecter des données personnelles sans base légale.
- conditions d'utilisation de la source
- présence d'API officielle
- date de parution
- droit de réutilisation
- robots et restrictions de fréquence
- origine du contact
- capacité à documenter un lien
- règles de stockage des données personnelles
Structure des données et champs obligatoires
Avant le traitement en masse, le schéma est approuvé : nom du champ, type, format obligatoire, acceptable et règle de remplissage. L'identifiant unique, le titre et la catégorie, la source et l'URL, la date de collecte, la date d'examen, ainsi que la région et la langue sont particulièrement importants pour ce service. Il faut distinguer la valeur nulle, la valeur inconnue et l'erreur source. Une structure unique vous permet de rechercher les doublons, d'importer, de créer des rapports et de répéter la vérification après la mise à jour des données.
- identifiant unique
- titre et catégorie
- source et URL
- date de collecte
- date du contrôle
- région et langue
- statut de crédibilité
- motif d'exception
Processus de travail étape par étape
Pour le service Collecte de Données, un processus fiable est divisé en étapes vérifiables. Tout d'abord, l'objectif et l'échantillon sont confirmés, puis l'interprète mène le projet pilote, fixe les règles et seulement après acceptation, il intensifie le traitement. Cela réduit le risque de se retrouver avec une baie volumineuse mais inutilisable. Chaque étape doit laisser un journal de décision, le nombre de lignes acceptées et rejetées, les raisons de l'exception et la version du fichier résultant.
- enregistrer le but, la base juridique et le propriétaire des données
- se mettre d'accord sur les champs, les formats et les exemples de chaînes
- vérifier les sources et les restrictions d'utilisation
- préparer un petit kit pilote
- vérifier l'exactitude, l'exhaustivité et les doublons
- approuver les règles d’inclusion et d’exclusion
- traiter le volume principal avec le journal des transactions
- transmettre le résultat, le rapport et les instructions
Contrôle qualité
La qualité n'est pas seulement vérifiée par le nombre d'entrées. Pour la « Collecte de données », la conformité au segment, la fiabilité de la valeur, l'exhaustivité des champs obligatoires, la proportion de doublons, la pertinence de la source et l'exactitude du codage sont évaluées. Le client reçoit une méthodologie de contrôle aléatoire et peut reproduire les principales étapes de contrôle. Il est préférable de marquer les enregistrements erronés, douteux et incomplets avec un statut distinct plutôt que de les mélanger discrètement avec des données confirmées.
- conformité des segments
- fiabilité de la valeur
- exhaustivité des champs obligatoires
- part des prises
- pertinence de la source
- encodage correct
- reproductibilité des tests
- part des enregistrements douteux
Confidentialité et sécurité
Lorsque vous travaillez avec le service « Collecte de données », l'accès est accordé sur la base de droits minimaux. Les fichiers sources, les jetons, le CRM et les téléchargements intermédiaires ne doivent pas être transférés via des liens publics. Pour le projet, la durée de conservation, le cryptage, les copies de sauvegarde, la liste des personnes autorisées et la procédure de suppression des copies temporaires sont convenus. Les informations sensibles et personnelles ne sont traitées que dans la mesure nécessaire à une finalité légitime.
Qu'est-ce qui affecte le coût
Le coût ne dépend pas seulement du nombre de lignes. La notation est influencée par le nombre de sources, le volume des enregistrements, la complexité des critères, le nombre de langues, la proportion de révision manuelle et la fréquence de mise à jour. Le pilote permet de déterminer l'intensité réelle du travail avant de lancer le volume complet. Un traitement précipité sans vérifier les sources et les critères entraîne souvent des coûts de remédiation plus élevés. Il est donc plus logique d'évaluer séparément la recherche, l'établissement de règles, le traitement et le contrôle qualité.
- nombre de sources
- volume de dossiers
- complexité des critères
- nombre de langues
- part du contrôle manuel
- taux de mise à jour
- Complexité des API
- format d'intégration
Comment choisir un artiste
Sélectionnez un entrepreneur en fonction de son expérience avec des formats similaires et de sa capacité à expliquer les origines, les limites et la vérification des données. Pour la collecte de données, demandez à voir un exemple anonymisé de la structure, du rapport de qualité et de la manière de gérer les erreurs. Un bon spécialiste ne promet pas une précision parfaite, ne cache pas l'automatisation et ne propose pas de moyens douteux pour obtenir des contacts.
Comment accepter le résultat
La réception s'effectue selon une liste de contrôle préalablement convenue. Vérifiez que les lignes correspondent au segment approuvé, la source est indiquée pour chaque enregistrement significatif, les champs obligatoires sont remplis selon la règle, les doublons sont inclus dans le rapport, l'encodage et les délimiteurs sont corrects et les valeurs douteuses ont un statut. Comparez la sélection avec les sources, importez le fichier de test dans une copie du système et assurez-vous que l'encodage, les dates et les délimiteurs fonctionnent correctement. Les remarques doivent faire référence à des lignes spécifiques et à la règle de travail, et le nouveau segment ou les champs supplémentaires sont publiés sous forme de volume distinct.
- les lignes correspondent au segment approuvé
- la source est précisée pour chaque entrée significative
- les champs obligatoires sont remplis comme requis
- doublons inclus dans le rapport
- l'encodage et les délimiteurs sont corrects
- les valeurs douteuses ont un statut
- l'importation de test réussit sans erreurs
- les données personnelles ne dépassent pas le volume convenu
Risques et limites
Les principaux risques sont liés à l'origine inconnue, à l'obsolescence, aux doublons, à l'interprétation incorrecte des champs et à l'utilisation des données à des fins autres que celles indiquées. La collecte de données ne peut pas promettre une pertinence, une réponse ou des résultats commerciaux à 100 %. Les lois, les conditions de sources et les règles de la plateforme peuvent différer et changer selon les pays, c'est pourquoi les cas controversés sont vérifiés par le spécialiste responsable du client.
Transfert et soutien supplémentaire
Pour le résultat « Collecte de Données », lors du transfert, le client reçoit le fichier final, une description des colonnes, des règles de normalisation, un rapport de test et une liste des restrictions connues. Si les données sont mises à jour, la fréquence, la personne responsable, le contrôle des modifications et l'ordre de restauration sont également enregistrés. La documentation doit permettre à un autre spécialiste de continuer à travailler sans dépendre du compte personnel de l’artiste interprète.
Publier une tâche
Pour commander une collecte de données, décrivez l'objectif, les sources acceptables, le segment, les champs obligatoires, la portée, le format et les critères d'acceptation. Sur DitWork, vous pouvez comparer des spécialistes, commander un petit pilote et diviser le travail en étapes. Ne publiez pas de véritables données personnelles, mots de passe, jetons et téléchargements privés dans une tâche ouverte. Ces matériaux sont transférés uniquement à l'artiste sélectionné de manière sécurisée.
